Discussion :

[Musix]

Bonjour,

Je souhaite cr�er et remplir un vecteur de strings � partir d'un fichier texte. J'ai suivi le conseil de la faq :
http://cpp.developpez.com/faq/cpp/?p...ream_iterators

Mon fichier contient 300000 lignes de 2 colonnes. Soit 600000 strings � stocker. Pour faire simple, disons que la taille ne varie pas (en pratique elle varie). Voici le code que j'ai �crit :

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
// ouvre le fichier
ifstream file("fichier.txt",ios::in) ;
 
// crée le vecteur de strings
vector<string> list ;
 
// réserve la mémoire
int size = 600000 ;
list.reserve(size) ;
 
// remplit le vecteur
copy(istream_iterator<string>(file),istream_iterator<string>(),back_inserter(list)) ;
 
// ferme le fichier
file.close() ;

J'obtiens bien un vecteur de 600000 strings, pas de probl�me. Mon souci est dans le temps d'ex�cution : 1.4 secondes. Je trouve que c'est anormalement lent. Alors j'ai test� avec un tableau de strings :

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

1
2
3
4
5
6
7
8
9
10
11
12
13
// ouvre le fichier
ifstream file("fichier.txt",ios::in) ;
 
// crée le tableau de strings
int size = 600000 ;
string * list = new string[size] ;
 
// remplit le tableau
for ( int i = 0 ; i < size ; i++ )
	file >> list[i] ;
 
// ferme le fichier
file.close() ;

Cette solution avec le tableau de strings s'ex�cute en 0.9 secondes. Je pensais que le vecteur �tait mieux adapt�, et qu'il serait plus rapide. J'aimerais savoir si c'est "normal" ou si j'ai mal compris quelque chose. Je ne suis pas s�r de bien faire la r�serve de m�moire avec le vecteur.

[Klaim]

D'abord, comment as-tu effectu� tes mesures?

[Musix]

Pour mesurer le temps d'ex�cution, j'ai utilis� la fonction clock(). Par exemple, pour mesurer la premi�re solution :

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
// Début de la mesure
clock_t t1 = clock() ;
 
// Ce que je veux mesurer
ifstream file("fichier.txt",ios::in) ;
vector<string> list ;
int size = 600000 ;
list.reserve(size) ;
copy(istream_iterator<string>(file),istream_iterator<string>(),back_inserter(list)) ;
file.close() ;
 
// Fin de la mesure
clock_t t2 = clock() ;
cout << (float)(t2-t1)/CLOCKS_PER_SEC << endl ;

Je n'ai pas fait de boucle pour moyenner le temps sur plusieurs it�rations. Mais j'ai ex�cut� plusieurs fois ce bout de code, et j'obtiens sensiblement (� 0.1 sec pr�s) les m�mes valeurs.

[Astraya]

SI tu compares la fonction cpy � ta fonction for, tu verras que copy effectue des choses en plus.

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

1
2
3
4
5
6
template<class InputIterator, class OutputIterator>
  OutputIterator copy ( InputIterator first, InputIterator last, OutputIterator result )
{
  while (first!=last) *result++ = *first++;
  return result;
}

De plus le back_inserter rajoute un appel de fonction pour chaque ligne. Sur 100 ligne aucune diff�rence, sur 30000 �a joue. Apr�s �a vas d�pendre de l'optimisation faite par le compilateur, a v�rifi� dans le code machine, ce n'est qu'une hypoth�se.

le copy + iterator + back_inserter n'est pas une combinaison de performances, mais de facilit� d'utilisation et de relecture.

[r0d]

As-tu test� avec les options d'optimisations ad�quates? (Il ne sert � rien de faire des tests de rapidit� en mode Debug par exemple).

[Luc Hermitte]

std::vector::reserve() est ton ami -- et c'est ce que fait le tableau.
Tu as les deque aussi sinon.

[3DArchi]

Salut,

[...]

Remarque de m�thode :
Tu fais varier au - 3 param�tres :
std::vector => new []
std::copy => for
std::istream_iterator =>operator>>

Comment peux tu dire que tes diff�rences de perf ne tiennent qu'au changement std::vector vs new ? Comment peux-tu garantir que cela ne vient pas du changement d'it�rateurs de flux en lecture directe ?

[Musix]

Merci pour toutes vos r�ponses

Premi�re faute : j'�tais en mode Debug
Deuxi�me faute : tu as raison 3DArchi, trop de param�tres varient � la fois.

J'utilisais d�j� la fonction reserve(). Aussi bizarre que cela paraisse, �a am�liore peu les performances. J'ai test� en mode release cette fois :

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

1
2
3
4
t1 = clock();
vector.reserve(size) ; // Test 1 : sans // Test 2 : avec
copy(istream_iterator<string>(file),istream_iterator<string>(),back_inserter(vector)) ; 
t2 = clock() ;

Je passe de 0.56 sec � 0.48 sec en ajoutant la r�serve.

Quant � la comparaison vector vs [], j'obtiens d�sormais les m�mes ordres de grandeur que rmdak. Lorsque les deux structures sont remplies par l'op�rateur >> les performances sont quasiment identiques.

[rmdak]

J'utilisais d�j� la fonction reserve(). Aussi bizarre que cela paraisse, �a am�liore peu les performances.

La r� allocation de m�moire lorsqu'un vector est plein est cens�e �tre "intelligente" au sens ou elle r�serve non pas une case suppl�mentaire mais plut�t double (pas sur exactement de la quantit�) la taille du vector en m�moire.

Sa me rappel une entr�e de la FAQ Stroustrup ou il parle du reserve vers la fin : http://www2.research.att.com/~bs/bs_...low-containers