Discussion :

[johnny-57]

Bonjour,

J'ai besoin de d�velopper un webcrawler qui soit capable d'interpr�ter le javascript. L'id�e �tant de faire de la veille concurrentielle, je suis souvent bloqu� avec php/curl sur des sites comme ebay qui n'autorise pas l'utilisation du moteur de recherche si JS est d�sactiv� ou d'autre qui affiche les prix apr�s appel javascript. J'ai trouv� phantomjs, mais je ne suis pas certain que �a r�ponde � mon besoin. Des id�es/pistes ?

Merci d'avance.

[ohnomorejmmings]

Pour les gros sites il y a g�n�ralement des APIs et sinon pourquoi pas se reposer sur un navigateur en codant un greffon. Sous Mozilla Firefox il y a un tout un �cosyst�me pour bidouiller JavaScript & Cie sur des pages Web.

[johnny-57]

En effet, amazon par exemple a une API, idem pour Cdiscount. Ebay par contre n'en n'a plus, google shopping n'en a pas etc...

Mon soucis c'est que j'ai besoin de communiquer avec mon serveur pour r�cup�rer des informations de recherche, de comparaison en utilisant des syst�mes maison de comparaison de contenu, d'image etc... Je sais bien qu'il serait plus simple d'appeler les pages avec un navigateur, mais je ne saurai m�me pas par o� commencer. Je n'ai aucune id�e des possibilit�s d'inter-action avec mon serveur par exemple.

[sekaijin]

d�velopper le webcrawler en js avec node.js
developper le webcrawler en C++ et embarquer V8 ou un autre
d�velopper le webcrawler en java avec java8 qui contient un interpr�te nomm� Nashorn

A+JYT

[ohnomorejmmings]

Pas d'API officielle ? Peut-�tre qu'il en existe une alternative et m�me plusieurs. D'ailleurs d'un certain point de vue tu cherches � d�velopper une solution similaire m�me si plus modeste. Faut comprendre qu'on est pas les seuls � hacker joyeusement des sites pour extraire des donn�es et plus si affinit�s !

Sinon pour des pistes je pense � Greasemonkey, m�me si c'est pour personnaliser le fonctionnement d'un site �a tr�s ludique et donc id�al pour d�couvrir ce monde merveilleux, et surtout des ressources comme le Mozilla Developer Network. Les possibilit�s sont infinies : Extension (JavaScript & Cie), greffon en C/C++, acc�s � des bases de donn�es� L'avantage c'est de disposer de la puissance du moteur d'un navigateur. Par exemple la fonctionnalit� d'archivage d'une page une fois tout son contenu charg�e et ex�cut�e donc miam miam (X)HTML, CSS, JavaScript�

Apr�s je peux pas t'aider plus pr�cis�ment car je suis un petit joueur ! Mais j'ai �t� suffisamment curieux pour faire quelques d�couvertes int�ressantes.

[johnny-57]

d�velopper le webcrawler en js avec node.js
developper le webcrawler en C++ et embarquer V8 ou un autre
d�velopper le webcrawler en java avec java8 qui contient un interpr�te nomm� Nashorn

A+JYT

C'est peut �tre une piste. Mon crawler est bas� sur un module que j'ai achet� qui est con�u en groovy, donc java, lui fait appel � des fonctions php donc me laisse tr�s libre de ce que je voudrai faire avec les donn�es. Je n'ai donc pas eu � r�inventer la roue sur la base du crawler m�me si j'aurai tr�s bien pu le faire en pure php. Est ce que je pourrai simplement y greffer java8 ? Je pr�cise, je n'y connais rien en java, js, etc... Mes seuls amis sont php/mysql/html

@ohnomorejmmings

Si je n'arrive pas � adapter l�existant, je pense que je partirai sur une solution comme la tienne.

[johnny-57]

La r�ponse du d�veloppeur du module sous groovy :

Cela semble tr�s complexe. Nashorn d�j� ne simule pas la page web, il n'interpr�te que le javascript, autrement dit vous n'avez pas d'interaction entre le DOM du HTML et les commandes javascript. C'est surtout l'�valuation de fonctions javascript hors contexte que fait la librairie.

Ensuite il ne charge pas tous les scripts d'une pages web (qui d�pendent g�n�ralement les uns des autres). Ca semble difficilement concevable. Si on voudrait interpr�ter le javascript d'une page web, le mieux est d'utiliser une librairie comme jWebBrowser mais c'est plus lourd, nous ne l'inclurons pas dans notre outil. Par contre en groovy vous pouvez charger des librairies non incluse dans notre outil. Si vous en avez le besoin, vous pouvez donc l'utiliser

Qu'en pensez vous ?

[ohnomorejmmings]

Que ce module r�pond pas � ton besoin de r�cup�rer le contenu g�n�r� par du JavaScript ou tout du moins � intercepter une ex�cution afin d'en faire ce que tu veux. D�sol� si j'ai un peu perdu le sens du schmilblique h�h� !