Out of memory avec un TStringList

Bonjour,

J'utilise un TSringList, mais si le fichier � g�n�rer est trop gros j'ai un Out Of Memory au moment du SaveToFile
Voil� un bout de code pour tester le probl�me:

Code:

---

1 2 3 4 5 6 7 8

TStringList* list = new TStringList(); for (unsigned int i = 0; i < 200000 ; i++) { list->Add(StringOfChar('p', 1500)); } list->SaveToFile("toto", TEncoding::UTF8); // out of memory delete list;

---

Il me parait �vident qu'il va falloir que je trouve autre chose pour cr�er mon fichier :mrgreen:
N'�tant pas tr�s � l'aise avec les encodages et ayant besoin d'un encodage UTF8, que puis je utiliser comme autre solution qui supporte un encodage UTF8?
C'est peut �tre trivial mais l� je bloque...

merci beaucoup pour votre aide :P
Pascale38

Salut
c'est parfaitement normal tu est plus grand que la capacit� m�moire par ailleurs ton code ne te g�n�re pas un fichier au format UTF 8
une des mani�res d'y parvenir est d'�crire ton fichier pas � pas

dans ce code le fichier est 10 fois plus Gand que celui que tu aurais voulu obtenir soit 2.79*Go (3*000*000*003 octets)
le temps n�cessaire sur ma vieille b�cane est de 30 secondes

voici le code que je propose

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

{ TEncoding *LEncoding = NULL; int LOffset; UnicodeString Tmp(""); TBytes myBytes; TDateTime StartTime, StopTime; StartTime = Now(); std::auto_ptr<TFileStream>DestFileStream(new TFileStream("SampleUTF8.txt", fmCreate)); std::auto_ptr<TBytesStream>myBytesStream(new TBytesStream(myBytes)); TBytes LByteOrderMark; LByteOrderMark = TEncoding::UTF8->GetPreamble(); DestFileStream->Write(&LByteOrderMark[0], LByteOrderMark.Length); for (int i(0); i < 2000000; i++) { Tmp += Tmp.StringOfChar('p', 1500); myBytesStream.get()->Write(Tmp.data(), Tmp.Length()); LOffset = TEncoding::GetBufferEncoding(myBytes, LEncoding); myBytes = TEncoding::Convert(LEncoding, TEncoding::UTF8, myBytesStream->Bytes, LOffset, myBytesStream->Size - LOffset); DestFileStream->Write(&myBytes[0], myBytes.Length); Tmp = ""; myBytesStream.get()->Position = 0; myBytes = 0; } StopTime = Now();   ShowMessage(L"Creation en :" + FormatDateTime(L"nn:ss:zzzz", StopTime - StartTime));   }

---

bonne lecture

Bonjour,
merci beaucoup !! Je m'en vais de ce pas tester �a !
J'ai une question: pourquoi dis tu que mon fichier n'est pas en UTF8?

Pascale38

Salut,
Le fait d�appeler Tencoding:: Uxxx ne g�n�re pas de transformation , il faut appeler la m�thode convert.
Par ailleurs il manque dans ce cas la signature du fichier ou Preamble, diff�rente pour chaque codage.
Pour t�en convaincre r�duit la g�n�ration du nombre de fichier par exemple 20 et ouvre le fichier dans un notepad.tu verras qu�il n�indique pas UTF8. Fais de m�me avec le code que j�ai propos� et tu verra la diff�rence.
Cordialement

merci pour ta r�ponse.

alors j'ai 2 soucis :

Code:

---

myBytes = 0;

---

ne compile pas

et il me rajoute un '\0' entre chaque caract�re....

Salut
l'erreur de ne compille pas provient du compilateur en effet avec le compilateur BCC 32 il y a une erreur alors qu'avec le compilateur Clang ily n'y a pas d'erreur
concernant le fichier g�n�r�
un string of char de retourne un AnsiString dans ton cas "ppppppppppppppppppppppppppppp"
pour le retour chariot il manque simplement dans mon code

je te propose l'am�lioration suivante

Code:

---

1 2 3 4 5

AnsiString Tmp(""); Tmp += Tmp.StringOfChar('p', 1500)+AnsiString("\r\n"); et effacer la mise é 0 du Mbyte

---

cordialement

Pour revenir sur le codage UTF8 comme son suffixe indique c�est du 8 bits donc char ou unsigned char.
Le type � utiliser est donc du AnsiString

Concernant le type Tbyte. pour reseter la bariable Sous bcc32 il faut appeler la m�thode setlength en mettant le param�tre � 0. Sous Clang il semblerait que ce soit implicite.

Cordialement

Pourtant en utilisant

Code:

---

list->SaveToFile("toto", TEncoding::UTF8);

---

au lieu de

Code:

---

list->SaveToFile("toto");

---

j'obtiens bien des fichiers diff�rents (notamment au niveau du traitement des '&').
Et quand j'ouvre mon fichier (encod� avec UTF-8) avec notepad++ il me donne bien UTF-8-BOM comme encodage.

Bon j'avoue ne pas maitriser du tout les encodages...

En tout cas �a � l'air de fonctionner avec ton code merci, j'obtiens un encodage UTF-8-BOM UNIX par contre, bizarre???
Mon ancien fichier lui est en encodage UTF-8-BOM PC
(dixit beyond compare avec lequel je compare mes 2 fichiers) :lol:

Mon explication est la suivante.
La signature du fichier se trouve au d�but du fichier (les 3 premiers bytes) donc dans le traitement de la string list il y a lieu d�ins�rer au d�but du fichier la signature ce qui consomme de la m�moire.

Il serait int�ressant de comparer les signatures des deux fichiers g�n�rer par ton code av� c une boucle r�duite et celui que j�ai post�
Par contre lors je maintiens mes propos concernant la stringlist qui n�est pas adapt�e au traitement de fichiers si grand


je n'ai par contre pas pu reproduire la diff�rence de BOM d' on tu parles

Signature avec des String List et la m�thode

Code:

---

1 2	list->SaveToFile("toto.txt", TEncoding::UTF8);

---

BOM Ou Preamble ou signature oxef 0xbb 0xbf


avec ma proposition de code
BOM Ou Preamble ou signature oxef 0xbb 0xbf


un rapide contr�le avec WinMerge me confirme que les fichiers sont en tout point identiquePi�ce jointe 600720

cordialement





Cordialement

merci pour toutes tes explications :D
Je confirme que TStringList n'est pas adapt� !!! :mouarf:
Je me pencherai plus s�rieusement sur ces histoires d'encodage,
en tout cas merci pour ton code qui m'a permis de trouver une solution alternative (en toute confiance surtout !!!)
et de me d�bloquer :D

Bonne soir�e,
Pascale38