Conversions Unicode Ascii

Bonjour,

Apparemment le code que l'on retrouve l� : Comment effectuer les conversions de texte ASCII <-> Unicode ? ne compile pas sous VC8 SP1.

L'erreur apparait d�s la premi�re ligne de chaque fonction, voici la premi�re :

Code:

---

1 2	cannot convert parameter 1 from 'const std::wstring' to 'std::basic_string<_Elem,_Traits,_Ax>::_Has_debug_it'

---

A priori �a ressemble a un mauvais copier coller?

Par ailleurs, est-ce que ce code fonctionnera pour tous les charact�res Unicodes (donc tous ceux possibles) ou est-ce qu'il faut changer la locale de mani�re a ce que �a corresponde? O� se trouvent les d�finitions des locales?

Merci de votre attention :)

Le code dans la FAQ

Code:

---

1 2 3 4 5 6 7 8

std::string narrow(const std::wstring& ws) { std::string res(ws); std::locale loc("english"); std::use_facet< std::ctype<wchar_t> >(loc).narrow(&ws[0], &ws[ws.length()], '?', &res[0]);   return res; }

---

a au moins trois erreurs :

1) std::string res(ws); n'est pas valide
2) &ws[ws.length()] n'est pas valide
3) &res[0] ne retourne pas forcement un pointeur vers les caract�res de la chaine

Il faudrait le remplacer par quelque chose comme �a

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

#include <string> #include <locale> #include <vector>   std::string narrow(const std::wstring& ws) { std::vector<char> buffer(ws.size()); std::locale loc("english"); std::use_facet< std::ctype<wchar_t> >(loc).narrow(ws.data(), ws.data() + ws.size(), '?', &buffer[0]);   return std::string(&buffer[0], buffer.size()); }   std::wstring widen(const std::string& s) { std::vector<wchar_t> buffer(s.size()); std::locale loc("english"); std::use_facet< std::ctype<wchar_t> >(loc).widen(s.data(), s.data() + s.size(), &buffer[0]);   return std::wstring(&buffer[0], buffer.size()); }

---

On va corriger �a, merci ;)

Merci pour la correction, je vais tester �a de suite.

En attendant je r�it�re mes questions :

Citation:

---

Par ailleurs, est-ce que ce code fonctionnera pour tous les charact�res Unicodes (donc tous ceux possibles) ou est-ce qu'il faut changer la locale de mani�re a ce que �a corresponde? O� se trouvent les d�finitions des locales?

---

Comme je m'en doutais, le code de la FAQ ne marche pas dans tous les cas.

Je l'ai propos� sur le forume de Ogre : http://www.ogre3d.org/phpBB2/viewtop...=230609#230609

Voici une variante avec test propos�e dans le thread :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38

#include "stdafx.h" #include <string> #include <locale> #include <stdlib.h>   using namespace std;   wstring toWideString(const string &str) { size_t size = mbstowcs(NULL, str.c_str(), 0) + 1; wchar_t *wmsg = new wchar_t[size]; mbstowcs(wmsg, str.c_str(), size); wstring ret(wmsg); delete wmsg; return ret; }     string toString(const wstring &wstr) { size_t size = wcstombs(NULL, wstr.c_str(), 0) + 1; char *msg = new char[size]; wcstombs(msg, wstr.c_str(), size); string ret(msg); delete msg; return ret; }   int _tmain(int argc, _TCHAR* argv[]) { string hello("Hello World!"); wstring hellow = toWideString(hello);   wstring byew(L"Goodbye!"); string bye = toString(byew); return 0; }

---

Pourrais-je avoir votre avis l� dessus ? Je capte pas tout au niveau du jonglage avec les locales pour l'instant...

Tiens ? Je n'avais m�me pas remarqu� que mon code �tait dans la FAQ... :lol:
Il ne correspond cependant pas tout � fait � ce que j'avais propos�... Il faut remplacer :

Code:

---

1 2	std::string s(ws) ;

---

par

Code:

---

1 2 3

std::string s; s.resize(ws.length()) ;

---

et

Code:

---

1 2	std::string ws(s) ;

---

par

Code:

---

1 2 3

std::string ws ; ws.resize(s.length()) ;

---

Le but est simplement de construire une chaine du bon type et avec la bonne taille. Peut importe ce qu'il y a dedant ;)

Par contre, je ne vois pas en quoi l'utilisation de l'op�rateur [] est une erreur... Quelqu'un peut m'eclairer ? Il y a peutetre une subtilit� qui m'�chape :aie:

Bizarre que �a ne fonctionne pas sous VC, c'est justement le seul compilo avec lequel �a avait fonctionn� pour moi :mrgreen:
Sinon, voici un code qui a fonctionn� pour un projet que j'ai test� sous VC (7.1?), Mingw et GCC:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

#include <string> #include <locale>   std::string narrow(const std::wstring& ws) { std::string res(ws.length(),' '); std::locale loc("english"); std::use_facet< std::ctype<wchar_t> >(loc).narrow(&ws[0], &ws[ws.length()], '?', &res[0]);   return res; }   std::wstring widen(const std::string& s) { std::wstring res(s.length(),' '); std::locale loc("english"); std::use_facet< std::ctype<wchar_t> >(loc).widen(&s[0], &s[s.length()], &res[0]);   return res; }

---

PS: s�rieux, faudrait quand m�me tester un minimum avant de mettre des trucs dans la faq, �a ne compile m�me pas avec un compilo standard.

Citation:

---

Envoy� par superspag

Par contre, je ne vois pas en quoi l'utilisation de l'op�rateur [] est une erreur... Quelqu'un peut m'eclairer ? Il y a peutetre une subtilit� qui m'�chape :aie:

---

C'est l'utilisation de &res[0] qui est probl�matique car la norme ne garanti pas que les �l�ments d'une std::string sont contigus en m�moire (seul std::vector a cette garantie).

Citation:

---

Envoy� par Sylvain Togni

C'est l'utilisation de &res[0] qui est probl�matique car la norme ne garanti pas que les �l�ments d'une std::string sont contigus en m�moire (seul std::vector a cette garantie).

---

Je ne vois pas comment ce serait possible d'impl�menter un string sans cette garantie. La m�thode c_str() renvoie un const char*, c'est obligatoirement une copie du char* utilis� en interne et pointe donc vers les m�mes charact�res. Si ce n'�tait pas le cas il faudrait g�rer le cycle de vie de ce nouveau buffer (et �a le standard ne serait pas d'accord).

Citation:

---

Je ne vois pas comment ce serait possible d'impl�menter un string sans cette garantie. La m�thode c_str() renvoie un const char*, c'est obligatoirement une copie du char* utilis� en interne et pointe donc vers les m�mes charact�res. Si ce n'�tait pas le cas il faudrait g�rer le cycle de vie de ce nouveau buffer (et �a le standard ne serait pas d'accord).

---

Et pourtant si. Rien n'indique dans la norme que les caract�res doivent �tre contig�s en m�moire, et c'est notamment pour cela que le pointeur renvoy� par c_str() n'est plus consid�r� comme valide apr�s l'appel (la cha�ne peut �tre un temporaire construit juste pour l'appel).
En pratique ce n'est jamais le cas, mais dans le standard c'est comme �a.

Mais comment les donn�es point�es par un const char* pourraient-elles �tre d�truites apr�s l'appel? C'est impossible, par contre je comprends tr�s bien qu'il ne faille plus utiliser ce pointeur apr�s l'appel, pour la simple raison que le string pourrait �tre d�truit entre temps.

Citation:

---

Envoy� par Sylvain Togni

C'est l'utilisation de &res[0] qui est probl�matique car la norme ne garanti pas que les �l�ments d'une std::string sont contigus en m�moire (seul std::vector a cette garantie).

---

Ca le sera en C0X. Je doute qu'il y ait beaucoup d'implementations ou ce n'est pas le cas.

La chaine de caract�res n'est pas forcement d�truite apr�s l'appel, mais tout simplement aucun element (pointeur) ne permet d'acceder � la chaine.

La m�moire sera re�crite ult�rieurement aux besoins de l'OS. En effet le syst�me de gestion de la m�moire est mis � jour par l'OS pour indiquer que cette espace m�moire est � nouveau disponible.

Citation:

---

Envoy� par zais_ethael

Je ne vois pas comment ce serait possible d'impl�menter un string sans cette garantie. La m�thode c_str() renvoie un const char*, c'est obligatoirement une copie du char* utilis� en interne et pointe donc vers les m�mes charact�res. Si ce n'�tait pas le cas il faudrait g�rer le cycle de vie de ce nouveau buffer (et �a le standard ne serait pas d'accord).

---

Le resultat de c_str() n'est pas necessairement ce qui est utilise en interne, il ne faut pas tenter de le modifier et tout appel a un membre non const (ou au destructeur) l'invalide.

Citation:

---

Envoy� par zais_ethael

Mais comment les donn�es point�es par un const char* pourraient-elles �tre d�truites apr�s l'appel? C'est impossible, par contre je comprends tr�s bien qu'il ne faille plus utiliser ce pointeur apr�s l'appel, pour la simple raison que le string pourrait �tre d�truit entre temps.

---

On peut utiliser le resultat de c_str() jusqu'a un appel a un membre non const ou au destructeur.

et ICU ?

Citation:

---

Envoy� par rikau2

La chaine de caract�res n'est pas forcement d�truite apr�s l'appel, mais tout simplement aucun element (pointeur) ne permet d'acceder � la chaine.

La m�moire sera re�crite ult�rieurement aux besoins de l'OS. En effet le syst�me de gestion de la m�moire est mis � jour par l'OS pour indiquer que cette espace m�moire est � nouveau disponible.

---

Ca c'est ce qu'on appelle un garbage collector. Comme on est en C++, �a n'existe pas et le terme appropri� est plutot fuite m�moire.

Citation:

---

Envoy� par zais_ethael

Ca c'est ce qu'on appelle un garbage collector. Comme on est en C++, �a n'existe pas et le terme appropri� est plutot fuite m�moire.

---

je parlais de l'appel simple a:

Code:

---

1 2 3

string str; mafonction(str.c_str());

---

Merci de m'expliquer dans ce cas comment lib�rer la m�moire,...... j'aimerai bien savoir

Il n'y a rien � lib�rer ici, car l'objet string est sur la pile et son destructeur sera automatiquement appel�.
Pour la fonction c_str(), la plupart des impl�mentations retournent directement le pointeur de la string, mais si une impl�mentation retourne un objet temporaire, lui aussi sera d�truit automatiquement.

Citation:

---

Envoy� par rikau2

je parlais de l'appel simple a:

Code:

---

1 2 3

string str; mafonction(str.c_str());

---

Merci de m'expliquer dans ce cas comment lib�rer la m�moire,...... j'aimerai bien savoir

---

Mais c'est exactement ce que je dis, c'est impossible! La seule solution est qu'on aie pas besoin de lib�rer la m�moire et que, de fait, le const char* qui soit retourn� ne puisse en aucun cas �tre un objet temporaire.

Citation:

---

Envoy� par M�dinoc

Pour la fonction c_str(), la plupart des impl�mentations retournent directement le pointeur de la string, mais si une impl�mentation retourne un objet temporaire, lui aussi sera d�truit automatiquement.

---

Mais puisque je dis que c'est impossible, vous avez d�ja vu un const char* avec un destructeur vous?