Conversion unicode (utf-8)

Version imprimable

04/02/2009, 09h08
spender

Conversion unicode (utf-8)

Bonjour,
Je m'attaque au portage d'un application existante vers Unicode.
Je suis sous Visual C++ Embedded 4 et j'ai bien la propri�t� unicode dans les settings du projet.
Actuellement, j'ai un CEdit, je r�cup�re son contenu que je met dans un char* puis je l'envoi � une autre appli via une socket. Ensuite, dans l'autre sens, je re�ois un char* via une socket puis je l'affiche dans un CEdit. Le but d�sormais est d'�changer de l'unicode (format utf-8) avec cette seconde appli.
Comment (avec quel type et m�thode) puis-je passer du contenu du CEdit � un char* en passant par un encodage utf-8 et vice versa ?
Merci d'avance pour votre aide.
04/02/2009, 11h42
M�dinoc

Je ne connais pas trop Embedded, mais traditionnellement sous Windows on utilise les fonctions libres MultiByteToWideChar() et WideCharToMultiByte() avec le param�tre CP_UTF8.

J'ignore s'il y a plus �volu� sous MFC, ni ce que permet ta version de MFC. Dans cette version, CString est-elle une classe ou y a-t-il le template CStringT?

Bonjour,

Merci M�dinoc pour la r�ponse.

Je ne pense pas que CStringT, CStringA ou CStringW soient disponibles car �a a �t� impl�ment� apr�s VC++ 6 d'apr�s ce que dit la faq et l� moi je suis sur une base de 4....
Je me suis en effet tourn� vers les m�thodes MultiByteToWideChar() et WideCharToMultiByte() mais elles sont d�licates � utiliser et je ne m'en sors pas pour le moment avec ce code :
Code:

1 2 3 4 5 6 7 8 9 10 LPWSTR orgUnicode = L"Coucou"; LPSTR destUTF8 = NULL; //Unicode vers UTF-8 WideCharToMultiByte(CP_UTF8, 0, orgUnicode, 6, destUTF8, 7, NULL, NULL); orgUnicode = L""; //UTF-8 vers Unicode MultiByteToWideChar(CP_ACP, 0, destUTF8, 7, orgUnicode, 7); //wcslen(orgUnicode));
Une id�e de ce qui pourrait clocher ?

Merci d'avance pour votre aide.

04/02/2009, 12h19
M�dinoc
Pour faire une conversion, il faut deux appels � la m�me fonction:
- Un avec un buffer nul, pour conna�tre la taille de buffer � allouer,
- Et un avec un buffer fraichement allou� avec la bonne taille.

Pour la conversion vers Unicode, je m'�tais fait cette fonction. Elle est plus compliqu�e que le strict n�cessaire, mais elle est en C, retourne un HRESULT cas d'erreur et donne la taille de la cha�ne en cas de succ�s:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
/* Get a HRESULT from a Win32 error code, or E_UNEXPECTED */
static HRESULT GetHResultFromWin32(DWORD error)
{
	HRESULT hr = HRESULT_FROM_WIN32(error);
	if(SUCCEEDED(hr))
		hr = E_UNEXPECTED;
	return hr;
}
 
/* Convert a char string into an unicode string. */
HRESULT GetUnicodeString(
 LPCSTR sczInA,    /*[in] char string.*/
 UINT codePage,    /*[in] Code page identifier, or CP_ACP etc.*/
 LPWSTR * pSzOutW, /*[out] Receives a pointer to the new wide character string.*/
 int * pCchWritten /*[out/opt] If set, receives the length of the wide character string, in characters. */
 )
{
	HRESULT hrRet = E_UNEXPECTED;
	int cchSizeW = 0;
 
	/*Initialize optional output parameters to their default values*/
	if(pCchWritten != NULL)
		*pCchWritten = 0;
	/*Test other output parameters, and initialize to their default values as long as possible*/
	if(pSzOutW==NULL)
		return E_POINTER;
	*pSzOutW = NULL;
 
	/*Test input parameters*/
	if(sczInA==NULL)
		return E_INVALIDARG;
 
	/*Calculate size*/
	cchSizeW = MultiByteToWideChar(codePage, MB_ERR_INVALID_CHARS, sczInA, -1, NULL, 0);
	if(cchSizeW <= 0)
		hrRet = GetHResultFromWin32(GetLastError());
	else
	{
		/*Alloc buffer*/
		LPWSTR szOutW = malloc(cchSizeW * sizeof *szOutW);
		if(szOutW==NULL)
			hrRet = E_OUTOFMEMORY;
		else
		{
			/*Use buffer*/
			BOOL bKeepMem = FALSE;
			int cchWritten = MultiByteToWideChar(codePage, MB_ERR_INVALID_CHARS, sczInA, -1, szOutW, cchSizeW);
			if(cchWritten <= 0)
				hrRet = GetHResultFromWin32(GetLastError()); /*This error is very unlikely to happen, since it was tested before*/
			else
			{
				/*OK!*/
				hrRet = S_OK;
				bKeepMem = TRUE;
				*pSzOutW = szOutW;
				if(pCchWritten!=NULL)
					*pCchWritten = cchWritten;
			}
 
			if(!bKeepMem)
				free(szOutW);
		}
	}
	return hrRet;
}
 
/* Delete a wide character string allocated by GetUnicodeString() */
HRESULT FreeUnicodeString(LPWSTR szDelW)
{
	if(szDelW==NULL)
		return S_FALSE;
	free(szDelW);
	return S_OK;
}

J'ai aussi en stock une version de cette fonction qui donne une BSTR � la place.

04/02/2009, 12h32
ram-0000
Citation:
Envoy� par M�dinoc

Pour faire une conversion, il faut deux appels � la m�me fonction:

Un avec un buffer nul, pour conna�tre la taille de buffer � allouer,
Et un avec un buffer fraichement allou� avec la bonne taille.
J'avais optimis� un peu la chose.

Le premier appel, je donnais un buffer dont la taille �tait arbitraire (32 caract�res), et je traitais les cas d'erreur. En cas d'erreur "buffer pas assez grand", je r�allouais � la taille demand�e et je faisais le deuxi�me appel.

J'ai remarqu� que dans la majorit� des cas, j'�conomisais ainsi 1 appel.
04/02/2009, 13h43
spender

Bonjour,

Merci M�dinoc et ram-0000 pour vos r�ponses.
Je vais donc tester la m�thode du double appels successifs et vous tiendrai inform� du r�sultat.

Bonjour,

Comme convenu, voici ce que j'ai impl�ment� pour effectuer les conversions.
Il doit me reste encore quelques trucs � tester.
Code:

1 2 3 4 5 6 7 8 9 10 11 //Unicode vers UTF-8 int UTF8Chars = WideCharToMultiByte(CP_UTF8, 0, orgUnicode, wcslen(orgUnicode), 0, 0, 0, 0); LPSTR UTF8Buffer = (LPSTR)alloca(UTF8Chars); WideCharToMultiByte(CP_UTF8, 0, orgUnicode, wcslen(orgUnicode), UTF8Buffer, UTF8Chars, 0, 0); //UTF-8 vers Unicode int InputChars = strlen(UTF8Buffer); int UnicodeChars = MultiByteToWideChar(CP_ACP, 0, UTF8Buffer, InputChars, 0, 0); LPWSTR UnicodeBuffer = (LPWSTR)alloca(UnicodeChars*sizeof(WCHAR)); MultiByteToWideChar(CP_ACP, 0, UTF8Buffer, InputChars, UnicodeBuffer, UnicodeChars);
En tout cas, j'aimerai avoir votre avis pour savoir si cela correspond bien � ce que vous proposiez ?

Merci d'avance.

05/02/2009, 10h48
M�dinoc

�a y ressemble, en tout cas.
Par contre, plut�t qu'appeler wcslen() � chaque fois, tu peux utiliser -1. Ou au moins, ne l'appeler qu'une seule fois et m�moriser le r�sultat...

PS: Pourquoi utilises-tu CP_ACP au lieu de CP_UTF8 dans le second cas?
05/02/2009, 14h01
spender

Bonjour,

Oui pour la m�morisation, effectivement dans un soucis de performance, �a peut y contribuer. L� pour le moment je m'int�resse plus � la fonctionnalit� qu'aux performances ;)

Par contre, pourquoi -1 au lieu de cette valeur retourn�e par wcslen() ? Qu'est-ce que �a change ou apporte ? :question:

Alors en fait, c'est peut-�tre une erreur de ma part car j'ai peut-�tre mal compris le passage de ce param�tre � la fonction. Je croyais qu'il fallait utiliser CP_ACP pour une conversion de Unicode vers UTF-8 et CP_UTF8 pour une conversion d'UTF-8 vers Unicode. N'ayant pas encore test� la deuxi�me conversion, je n'ai pas pu observer un quelconque probl�me.....
Que faut-il donc passer dans mon cas ? syst�matiquement la valeur CP_UTF8 ? :question:

Merci d'avance pour votre aide.
05/02/2009, 14h06
M�dinoc

Citation:

Envoy� par spender

Par contre, pourquoi -1 au lieu de cette valeur retourn�e par wcslen() ? Qu'est-ce que �a change ou apporte ? :question:

�a t'�vite d'appeler wcslen() toi-m�me, et... rien d'autre, je crois.

Citation:

Alors en fait, c'est peut-�tre une erreur de ma part car j'ai peut-�tre mal compris le passage de ce param�tre � la fonction. Je croyais qu'il fallait utiliser CP_ACP pour une conversion de Unicode vers UTF-8 et CP_UTF8 pour une conversion d'UTF-8 vers Unicode. N'ayant pas encore test� la deuxi�me conversion, je n'ai pas pu observer un quelconque probl�me.....
Que faut-il donc passer dans mon cas ? syst�matiquement la valeur CP_UTF8 ? :question:

Tant que tu fais de l'UTF-8, oui.
CP_ACP fait typiquement une conversion entre Unicode (UTF-16 en fait) et Windows-1252. Du moins, ici, car �a d�pend du pays.
05/02/2009, 14h53
spender

Rebonjour,

Citation:

�a t'�vite d'appeler wcslen() toi-m�me, et... rien d'autre, je crois.

Lol, bien que l'int�r�t soit limit�, c'est toujours �a de pris pour �viter d'�crire une connerie :mouarf:

Citation:

Tant que tu fais de l'UTF-8, oui.

Ok, donc j'avais mal compris, je vais donc mettre uniquement CP_UTF8. Merci pour l'explication :)

Je vous tiens au courant de la suite.
On ne sait jamais si �a peut servir � d'autres :?
06/02/2009, 08h55
spender

Bonjour,

Etant dans mes tests de conversions, il s'av�re que �a semble pas mal marcher. En revanche, il y a un point que j'aimerai �claircir, en effet, avec des caract�res grecques par exemple, l'affichage sur l'appareil mobile se fait bien par contre, si je passe des caract�res un peu plus exotique d'un langue dont je ne connaissais m�me pas le nom..... :? �a m'affiche des carr�s � la place des caract�res :(
Alors � premi�re vue, je pencherai vers une plages unicode non support�e par la machine (mobile), qu'en pensez-vous ?
Pensez-vous qu'il soit possible de d�tecter soit par programmation ou bien physiquement sur le mat�riel ce genre de chose ?

Merci d'avance si vous pouvez m'�clairer.
06/02/2009, 09h19
ram-0000

Il y a d'une part le code Unicode � afficher et d'autre part la fonte de caract�re utilis�e qui poss�de ou non le (ou la ?) glyphe (la forme quoi!) du caract�re � afficher.

Si tu n'as pas la fonte ad�quate, tu affiches effectivement des petits carr�s.
06/02/2009, 09h23
M�dinoc

La police Microsoft qui contient le plus de glyphes est Arial Unicode MS, mais elle fait 22Mo et je ne suis pas s�r qu'elle soit pr�sente sur ton syst�me...
06/02/2009, 11h08
spender

Bonjour,

Merci encore ram-0000 et M�dinoc pour vos �claircissements :D
Je vois mieux, la probl�matique se pr�cise puisqu'en plus je dois �tre en police � chasse fixe.....
D'apr�s ce que j'ai p� voir la Arial Unicode MS est tr�s vaste mais ne semble pas fixe..... :(

Vous connaissez une police unicode assez �tendue (assez universelle) � chasse fixe ? :question:

Merci d'avance pour vos r�ponses. :P
06/02/2009, 11h15
M�dinoc

La plus compl�te police � chasse fixe que je connaisse est Lucida Sans Unicode, mais elle est beaucoup moins compl�te que Arial Unicode MS...

Bonjour,

Oui je pense que la police sera d�pendante du pays..... mais bon c'est un autre sujet 8-) Merci pour les renseignements sur les polices unicode :king:

Suite � mes diff�rents tests, je mets donc le code des 2 conversions car la premi�re version posait probl�me :

//UTF-8 vers Unicode
Code:

1 2 3 4 5 int length = MultiByteToWideChar(CP_UTF8, 0, m_buf_recept, size_recept, NULL, NULL ); WCHAR *UnicodeBuffer = NULL; UnicodeBuffer = new WCHAR[length+1]; MultiByteToWideChar(CP_UTF8, 0, m_buf_recept, -1, UnicodeBuffer, length );
//Unicode vers UTF-8
Code:

1 2 3 4 5 6 LPWSTR orgUnicode = new WCHAR[strlen(m_send_mess)+1]; mbstowcs(orgUnicode, m_send_mess, strlen(m_send_mess)); int UTF8Chars = WideCharToMultiByte(CP_UTF8, 0, orgUnicode, -1, 0, 0, 0, 0); LPSTR UTF8Buffer = (LPSTR)alloca(UTF8Chars); WideCharToMultiByte(CP_UTF8, 0, orgUnicode, -1, UTF8Buffer, UTF8Chars, 0, 0);
Bon, pour les puristes, il y a des optimisations possibles mais le principe est l�.
Voil� si �a peut servir � d'autres :mouarf:

Et merci encore pour votre aide :yaisse2: