Discussion :

[white_tentacle]

Bonjour,

Je vous pr�sente un article qui, � partir d�un probl�me simple, pr�sente la m�thodologie et les techniques � mettre en �uvre pour arriver � une solution performante, r�utilisable.

http://julien-blanc.developpez.com/t...cture-csv-c++/

Bonne lecture

[prgasp77]

Bonjour,

c'est un tr�s bon sujet d'article ; la lecture d'un fichier CSV (un vrai, avec tous les pi�ges qu'il peut contenir) est parfois faite de mani�re bien bancale .

[MichaelREMY]

tr�s bon article !

un BigUp! pour la partie qui traite de l'importance de la taille du fichier, qui va conditionner la m�thode de lecture. On ne le dira jamais assez traiter un fichier de 400Go sur une machine perso n'est pas pareil que de le faire sur un serveur virtualis� mutualis� ou de prod. Sans parler du probl�me de cache, de m�moire, du temp, de ressources par utilisateur.....

Une petite astuce personnel:
maintenant je traite le probl�me d'encodage manuellement avec un �diteur � part, car souvent, trop souvent on tombe sur des fichiers CSV multi-encodage qui ont �t� mal g�r�s par les exportateurs....
Oui alors avant l�entr�e dans la boucle, penser � une fonction juste pour tester l�int�gralit� du bon codage (et par la m�me occasion l�int�gralit� du fichier au cas o� il est d�fectueux)

Une petite am�lioration pour l'article: vous ne parlez pas de la source (disque dur, r�seau, nas, lien dropbox, lien cloud..etc) du fichier et de son impact, de son traitement en t�che de fond plut�t qu'en foreground.

[LandReagan]

Excellent, j'en avais justement besoin !
Merci beaucoup ! �a va m'�viter quelques heures d'arrachage de cheveux et quelques litres de caf�...

[Iradrille]

Une petite am�lioration pour l'article: vous ne parlez pas de la source (disque dur, r�seau, nas, lien dropbox, lien cloud..etc) du fichier et de son impact, de son traitement en t�che de fond plut�t qu'en foreground.

La partie VI en parle, ou du moins donne des �l�ments de r�ponse : la source des donn�es n'a pas d'impact (autre que les performances : on peut pas traiter les donn�es plus rapidement qu'elles arrivent).

Si tu veux faire tes traitements de mani�re asynchrone, rien ne change non plus

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

1
2
3
4
5
6
7
8
9
10
Threadpool pool; // ou autre
 
CSVParser parser;
parser.onField([](std::string const& f) { std::cout << f << std::endl; }); // traitement synchrone
parser.onField([&](std::string const& f) { pool.enqueue([f]() { std::cout << f << std::endl; }); }); // traitement asynchrone
 
std::vector<char> data;
for(auto c: data) {
   parser.consume(c);
}

[MichaelREMY]

La partie VI en parle, ou du moins donne des �l�ments de r�ponse : la source des donn�es n'a pas d'impact (autre que les performances : on peut pas traiter les donn�es plus rapidement qu'elles arrivent).

Si tu veux faire tes traitements de mani�re asynchrone, rien ne change non plus

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

1
2
3
4
5
6
7
8
9
10
Threadpool pool; // ou autre
 
CSVParser parser;
parser.onField([](std::string const& f) { std::cout << f << std::endl; }); // traitement synchrone
parser.onField([&](std::string const& f) { pool.enqueue([f]() { std::cout << f << std::endl; }); }); // traitement asynchrone
 
std::vector<char> data;
for(auto c: data) {
   parser.consume(c);
}

oui oui, je voulais juste dire qu'avant d'importer le fichier, il faut s'assurer, ou plut�t estimer la longeur de la large pour ne pas monopoliser (ou plut�t ennuyer l'utilisateur devant l'�cran) et ainsi traiter le tout en background permettant ainsi d'afficher une chrono, une jauge. Comem fait maintenant Youtube pour l'import des vid�os. Rappelez-vous avant (dans les ann�es 2000) o� on attendez devant l'�cran que l'upload se finisse pour remplir le formulaire et ensuite faire autre chose.... C'es ce point l� que je voulais mettre en avant : estimer avant de travailler, m�me un traitement d'apparence simple...
c'est un tr�s bon article-tuto que vous avez �crit l�.

[dragonjoker59]

oui oui, je voulais juste dire qu'avant d'importer le fichier, il faut s'assurer, ou plut�t estimer la longeur de la large pour ne pas monopoliser (ou plut�t ennuyer l'utilisateur devant l'�cran) et ainsi traiter le tout en background permettant ainsi d'afficher une chrono, une jauge...

Ce qui n'a strictement aucun rapport avec le parseur, mais avec la mani�re dont il est utilis�, donc compl�tement hors de propos.