[C/C++] Parser un code source

Bonjour,

Je cherche � parser un code source C suivant :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

int main() { toto = load_bitmap("...."); if (!toto) exit(-1); tata = load_bitmap("...."); if (tata == NULL) { // des choses } titi = load_bitmap("...."); if (!titi) { /* encore des choses */ tete = load_bitmap("...."); } }

---

Le but est de r�cup�rer les variables toto, tata, titi, tete toujours � gauche de la fonction "load_bitmap".

Dans un second temps, il faudrait savoir si chacune de ses variables sont dans un "if" avec le pattern suivant : "if (!MA_VARIABLE)" ou alors "if(MA_VARIABLE==NULL)"

Je sais qu'il faut utiliser des regex mais j'aurais besoin de votre aide pour cela. Sinon s'il y a une autre m�thode � part les regex, je suis partant ;)

Merci beaucoup :)

tu veux le faire en C ou C++?

Parce qu'un combo grep-sed peut suffire

grep source.c -e "= load_bitmap" | sed "/[ \t]*\(.*\)[ \t].*/\1/" > vars.txt mettra les noms des variables dans vars.txt.
grep source.c -f vars.txt | grep -e "if (" lira le fichier et retiendra seulement les if.

Ceci �tant propos� pour linux, et doit s'adapter avec wingrep et un �quivalent � sed sous windows.

Ah oui, j'ai oubli� de pr�ciser que je suis sous WIndows 7 et je ne veux pas le faire en ligne de commande mais en C ou C++ peu importe (de pr�f�rence sans avoir une lib � installer comme boost)

EDIT : sinon pour les commandes linux, j'ai une erreur pour la premi�re :

Citation:

---

sed: -e expression #1, char 22: unknown command: `\'

---

Et la seconde marche mais ne prends pas en compte la variable "tete" qui est d�j� dans un "if"...

en C ou C++, soit tu vas devoir r�impl�menter une lib d'expression r�guli�re, soit une de machine a �tat, soit utiliser ce qui a d�j� �t� fourni.

Tu peux impl�menter un analyseur syntaxique du C++ en peu de temps (j'ai mis cinq heures pour �tre grammaticallement conforme � toutes les subtilit� du C++11 (lambda inclu...))

en C++11, il y a std::regex donc pas besoin de red�finir de lib d'expression r�guli�re non?

Oui je connais std::regex, en fait c'est plut�t au niveau de la regex que je gal�re... Et les commandes linux avec le sed ne fonctionne pas :(

Pour trouver les noms de variables, ca va ressembler � "[[:alnum:]]+ = load_bitmap", avec la d�coration pour ne r�cup�rer que le d�but (on appelle ca des captures).

Bonjour,

J'ai tent� cela mais ca ne marche pas :(
D�sol� j'ai un vrai probl�me avec les Regex, j'arrive pas � apprendre leur logique

Code:

---

1 2 3 4 5 6 7 8 9 10 11

int main() { std::string s = "toto = load_bitmap(coucou);"; std::regex pattern("\\^[[:alnum:]]+ = load_bitmap", std::regex_constants::basic);   if (std::regex_match (s,pattern)) std::cout << "string object matched\n";   return 0; }

---

Bonjour
Attention, pour matcher au d�but, il ne faut pas �chaper le '^'
sinon, l'expression me semble bonne.

Citation:

---

Envoy� par leternel

Bonjour
Attention, pour matcher au d�but, il ne faut pas �chaper le '^'
sinon, l'expression me semble bonne.

---

Bonjour,
M�me sans �chapper, elle ne fonctionne pas :(

� ce niveau l�, r�f�re toi � la documentation de la syntaxe des regex.

Pour information, une regex est une description de s�quence de caract�re.
un [] d�signe une alternative (parmi les caracteres internes)
un () forme un groupe
un + signifie que le groupe qui pr�c�de est a reconnaitre au moins une fois
un ? signifie que le groupe qui pr�c�de est a reconnaitre au plus une fois
un * signifie que le groupe qui pr�c�de est a reconnaitre 0, 1 ou plusieurs fois

par exemple:

• "a" reconnait "a"
• "ab" reconnait "ab"
• "a|b" reconnait "a" et "b"
• "[a-d]" reconnait "a", "b", "c", et "d"
• "(abc)+" reconnait "abc", "abcabc", "abcabcabc" et plus si affinit�
• "(abc)+|a(bc)+" reconnait "abc", "abcabc", "abcabcabc" � ou "abcbc" ou "abcbcbc"

Bonne continuation

Merci je vais voir dans la doc ce que je peux trouver :)

Juste une remarque, comment dire en regex de virer la redondance des espaces dans la chaine test�e :
Exemple :

Code:

---

1 2 3 4 5

int main(...) int main(...) int main ( ..... ) int main (... )

---

Je cherche � transformer toutes ses expressions en :
int main () avec un seul espace entre "int" et "main" et un seul espace entre "main" et "("

Bonne soir�e

En th�orie, il faut faire un remplacement de "[ \t]+" par " ".

Dac, merci :)

Je vais voir ce que je peux faire.

Vous �tes s�rs que c�est une bonne id�e de partir sur les regex ?

Perso, je conseillerai plut�t une analyse LR. La grammaire C est bien d�finie � quoi que sensible au contexte mais pour ce que tu veux faire cela ne devrait pas poser de soucis �, �a ne devrait pas �tre tr�s difficile.

Citation:

---

Envoy� par white_tentacle

Perso, je conseillerai plut�t une analyse LR. La grammaire C est bien d�finie � quoi que sensible au contexte mais pour ce que tu veux faire cela ne devrait pas poser de soucis �, �a ne devrait pas �tre tr�s difficile.

---

Une analyse LR, c'est quoi ca ? :aie:
Tu aurais un tuto d'initiation pour impl�mentation de cela ?

C'est valable aussi.

J'avais juste propos� la solution de "facilit�": grep+sed

Maintenant, pour l'analyse LR, il va quand m�me falloir quelques regex, pour la d�tection des identifieurs et le d�coupage de "alpha+beta" en {identifieur, op+, identifieur}.
Encore qu'elles seront simples parce qu'il ne faut pas valider le code source.

Je vais regarder vos pistes quand j'aurais le temps.
Merci pour votre aide :)

Rebonjour,

Pour l�analyse LR : wikip�dia donne une bonne introduction. http://fr.wikipedia.org/wiki/Analyse_LR

Pour l�impl�mentation en c++, une solution est boost::spirit (puissant mais complexe � utiliser).

Pour commencer il faudrait �tre s�r que le compilateut utilis� supporte les regex du C++11. Pour l'instant, � ma connaissance il n'y a gu�re que Clang qui le fait...

Visual C++ g�re aussi les regex depuis plusieurs ann�es. Globalement, ce compilateur � tendance � �tre assez lent pour le support du langage, mais rapide pour le support des biblioth�ques.

Oui, enfin � l'heure actuelle les regex, ce n'est plus une affaire de biblioth�que mais une partie int�grante du langage. M�me si certains compilateurs tardent encore un peu � int�grer cet aspect de la nouvelle norme C++11, c'est en cours, et cela ne devrait plus gu�re tarder, sachant que pour l'instant Clang dame le pion aux autres compilateurs pour cet aspect des choses.

Citation:

---

Envoy� par ptyxs

Oui, enfin � l'heure actuelle les regex, ce n'est plus une affaire de biblioth�que mais une partie int�grante du langage. M�me si certains compilateurs tardent encore un peu � int�grer cet aspect de la nouvelle norme C++11, c'est en cours, et cela ne devrait plus gu�re tarder, sachant que pour l'instant Clang dame le pion aux autres compilateurs pour cet aspect des choses.

---

Je parlais de la gestion des regex en tant qu'�l�ments de la biblioth�que standard. Je ne sais pas trop ce que tu appelles partie int�grante du langage, mais les regex restent et resteront une affaire de la biblitoh�que standard. Elle ne demandent aucune modification au "core language" lui-m�me.

Les regex ont �t� introduites dans TR1 (publi� en 2007 officiellement, bien que n'�tant pas un standard en tant que tel). Visual C++ les as support�es � partir de visual C++2008 SP1. Elles ont ensuite �t� confirm�es en C++11 (et bascul�es de std::tr1:: vers std:: ), et visual C++ les a imm�diatement support�es.

Et donc Clang ne dame le pion � personne pour cet aspect (je ne dis pas qu'il n'est pas bon, loin de l�, c'est juste que je n'aime pas entendre encens� un compilateur sur les aspects o� il n'a rien de remarquable, et que ce soient Clang ou gcc, aucun des deux n'est particuli�rement remarquable sur les aspects support de la biblioth�que standard, ce qui est d'autant plus surprenant que ce sont g�n�ralement des aspects simples � int�grer... ).

Citation:

---

Envoy� par white_tentacle

Vous �tes s�rs que c�est une bonne id�e de partir sur les regex ?

---

Je pense pareil: les regex sont notablement connu pour etre une tres mauvaise idee pour parser tout ce qui est language ou turing complete...

Citation:

---

Envoy� par Klaim

Je pense pareil: les regex sont notablement connu pour etre une tres mauvaise idee pour parser tout ce qui est language ou turing complete...

---

Si le but �tait effectivement d'analyser du code C ou C++ quelconque, les regex ne suffiraient effectivement pas (et faire un parseur pour du C++ reste une t�che non triviale).

Mais l�, il semblerait que le but soit de reconnaitre des motifs dans du code sp�cifique �crit d'une mani�re bien pr�cise. Dans ce cadre, les regex me semblent appropri�es.

Un conseil, pour les regex, � moins d'�tre maso, il est plus que tr�s recommand� d'utiliser les raw string (http://cpp.developpez.com/redaction/...s/cpp11/#LIV-C).

Hello guys

Si vous voulez analyser du code source C++, le mieux est quand m�me d'utiliser l'api C++ de LLVM/Clang. Vous aurez un v�ritable AST C++ analysable sur tous les aspects voulus.

C'est un peu overkill au vu du sujet de base car il y a un co�t d'apprentissage, mais la solution une fois mise en place est � mon avis tr�s simple.

Citation:

---

Envoy� par JolyLoic

Si le but �tait effectivement d'analyser du code C ou C++ quelconque, les regex ne suffiraient effectivement pas (et faire un parseur pour du C++ reste une t�che non triviale).

Mais l�, il semblerait que le but soit de reconnaitre des motifs dans du code sp�cifique �crit d'une mani�re bien pr�cise. Dans ce cadre, les regex me semblent appropri�es.

---

Par experience, je suis mefiant du cas ou on veut chercher des motifs dans du code. Generalement il est impossible definir ces motifs correctement simplement parceque si il sagit de semantique du langage, il ne sagit plus de motifs. Ici on parle de noms de variables, ce qui m'apparait just suffisamment complexe pour que les regex soient un piege (qui ne se voit qu'apres avoir passe trop de temps ici).

(une legere note humoristique plus ou moins a ce sujet, voir la reponse la: http://stackoverflow.com/questions/1...contained-tags )

Disons que c'�tait juste la phrase "toujours � gauche de la fonction "load_bitmap"." qui me laisse penser qu'on est peut-�tre dans un cas assez cadr� pour que �a passe. Et la diff�rence de temps entre les deux impl�mentation m�rite peut-�tre de le tenter.

Ce qui est clair, c'est que je ne ferais �a que pour du code "local", pas forc�ment du code livr� � un client ayant pour but d'�tre utilis� de longues ann�es...

J'aurais plut�t conseiller Flex(++) et Bison(++) qui sont les outils les plus puissants que je connaisse dans le domaine de l'analyse lexicale (automate � �tat fini, regex) et syntaxique (analyse LR ou plut�t LALR) - sinon, il y a l'OCaml avec ocamllex et menhir, encore plus puissant mais bon le choix a d�j� �t� fait.

Apr�s, tout ceci semble un peu bourrin pour la petite probl�matique que tu veux faire. � savoir si tu veux faire �a proprement (cf. les outils plus hauts) ou de fa�on tricky. Sinon, la documentation est tr�s bien faite sur ces deux outils qui sont largement r�pandus. et �a m'�tonnerait pas de voir d�j� sur internet les fichiers correspondant � un lexer/parser C et C++ (j'ai bien trouv� PHP).

Citation:

---

Envoy� par jblecanard

Hello guys

Si vous voulez analyser du code source C++, le mieux est quand m�me d'utiliser l'api C++ de LLVM/Clang. Vous aurez un v�ritable AST C++ analysable sur tous les aspects voulus.

C'est un peu overkill au vu du sujet de base car il y a un co�t d'apprentissage, mais la solution une fois mise en place est � mon avis tr�s simple.

---

Je pense aussi que c'est 100x plus simple. M�me s'il y a un co�t �a sera toujours moindre que d'essayer de faire des regex ou d'apprendre la syntaxe moisie de Bison/Flex.

Et les fonctions de parsing/ast/compilation de clang sont disponibles avec des bindings python en plus de l'API C et C++.