R�cup�rer le source d'une page web

Version imprimable

16/02/2017, 18h29
crazyfroggy

R�cup�rer le source d'une page web
Bonjour,
J'essaie de r�cup�rer le source d'une page web, avec un webbrowser (Visual Studio 2013).

J'ai donc un
Code:

1 2 String^ contenu = this->webBrowser1->DocumentText;
Mais �a ne r�cup�re qu'un morceau de ma page, et au debug, je ne peux visualiser qu'en lecture .txt

Les autres modes me disent que les balises ne sont pas ferm�es, ou refusent de lire quoi que ce soit.

Je suppose qu'il faudrait peut-�tre un tableau de String^, plut�t qu'un String^ ?

Merci pour votre aide.
Le C++/CLI rajoute une couche...:?
16/02/2017, 23h59
M�dinoc

Je ne saurais pas trop dire, personnellement je passerais plut�t par une HttpWebRequest que par un WebBrowser... � moins qu'il y ait des histoires de Javascript modifiant le DOM. Auquel cas, cette question sur SO pourrait t'aider.

Je me suis mal exprim� au 1� post : ma page test s'affiche correctement dans le webBrowser.
En revanche, je ne peux r�cup�rer que environ le quart du code source de la page, dans une String^.

A l'exec, le programme me dit que "la valeur de la propri�t� "$" est null ou non d�finie, pas un objet Function", 2 fois � la m�me ligne.

Code: 0

Puis le prog me dit que "l'objet ne g�re pas la propri�t� ou la m�thode "reduce".

Toujours Code: 0

Dans le String^, j'aurai r�cup�r� le source de la page jusqu'� la ligne de l'erreur propri�t� "$" est null ou non d�finie.

J'ai essay� une bidouille avec un httpWebRequest.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 String^ PATH = "file:///C:/C++/test/ressources/page_test.htm"; WebRequest^ Request = WebRequest::Create(PATH); HttpWebResponse^ Response = dynamic_cast<HttpWebResponse^>(Request->GetResponse()); Request->Credentials = CredentialCache::DefaultCredentials; Response = dynamic_cast<HttpWebResponse^>(Request->GetResponse()); Stream^ Stream1 = Response->GetResponseStream(); StreamReader^ SReader = gcnew StreamReader(Stream1); String^ Responsestring = SReader->ReadToEnd(); SReader->Close(); Stream1->Close(); Response->Close();
Ce code g�n�re � l'exec l'erreur "An unhandled exception of type 'System.NullReferenceException' occured in Project1.exe

Additionnal information: La r�f�rence d'objet n'est pas d�finie � une instance d'un objet.

Je suis en train d'essayer d'installer libcurl, mais c'est tout sauf simple, ce machin, pour celui qui bidouille une fois tous les 6 mois ...

Merci d'avance pour tout �clairage.
C'est quand m�me bizarre que le webBrowser puisse afficher la page, mais soit infoutu de r�cup�rer son code source !!!

21/02/2017, 20h21
bacelar

Je ne comprends pas votre d�marche. :weird:

Si c'est pour comprendre pourquoi il y a des erreurs JavaScript, bin, faut d�boguer le JavaScript, pas faire une usine � gaz pour r�cup�rer le code de la page Web.

Des outils dans le navigateur (F12 pour IE) ou � part comme Fiddler2 permettent de facilement voir le contenu des fichiers charg�es par le navigateur, qui sont largement plus nombreux que la page web elle-m�me.

Citation:

Ce code g�n�re � l'exec l'erreur "An unhandled exception of type 'System.NullReferenceException' occured in Project1.exe

Bin, pourquoi n'utilisez-vous pas tout simplement le d�bogueur pour savoir d'o� �a vient ?
Mais, bon, je pense que ce code est totalement inutile si vous prenez les outils ad�quate, je pense.

P.S.: votre code est tr�s �trange (Webrequest sur un "file:" ?,2 GetResponse ???) et peu s�r (la gestion des "Continue" status 100 de HTTP ?)

Citation:

Je suis en train d'essayer d'installer libcurl, mais c'est tout sauf simple, ce machin, pour celui qui bidouille une fois tous les 6 mois ...

Si vous pouvez basculer sur une code libcurl, autant utiliser des outils d�di�es et pas r�inventer la roue (et un client HTTP, c'est une putain de roue cosmique).

Citation:

C'est quand m�me bizarre que le webBrowser puisse afficher la page, mais soit infoutu de r�cup�rer son code source !!!

Le WebBrowser, c'est juste un wrapper autour d'un composant COM "Navigateur" et il faut bien plus qu'un simple fichier "htm" pour afficher une page de nos jours (les .css, les IFRAME, les .scripts, <IMG>, les <OBJECT>, etc...)
Le chargement d'une "page web", c'est tr�s souvent plusieurs dizaines de fichiers t�l�charg�s, tr�s souvent avec des pages qui s'incluent dans d'autres pages qui s'incluent dans d'autres etc...
Une page qui contient des IFRAME qui contient des scripts => le code n'est pas dans le "code source" de la page mais dans le code source d'une page script "incluse" d'une page HTML (l'IFRAME) qui est "incluse" dans la page initiale.

Donc, vous prenez pas la t�te � refaire une roue et utilisez des outils adapt�s.
21/02/2017, 21h03
crazyfroggy

Merci d'avoir pris le temps de me r�pondre.

Citation:

Envoy� par bacelar

Je ne comprends pas votre d�marche. :weird:

Si c'est pour comprendre pourquoi il y a des erreurs JavaScript, bin, faut d�boguer le JavaScript, pas faire une usine � gaz pour r�cup�rer le code de la page Web.

Les erreurs javascript de la page, �a m'est �gal. C'est un extrait du texte de la page qui m'int�resse, sachant que des pages comme �a, il y en aura 200 ou 300 � charger et � exploiter (donc, CTRL+U de firefox, on oublie).

Citation:

Envoy� par bacelar

votre code est tr�s �trange (Webrequest sur un "file:" ?,2 GetResponse ???) et peu s�r (la gestion des "Continue" status 100 de HTTP ?)

C'est un code que j'ai r�cup�r� sur un forum (stackoverflow, ou similaire), donn� par google + C++ + httpwebrequest + get page
Je ne me suis pas pos� de questions.

Citation:

Envoy� par bacelar

Le chargement d'une "page web", c'est tr�s souvent plusieurs dizaines de fichiers t�l�charg�s, tr�s souvent avec des pages qui s'incluent dans d'autres pages qui s'incluent dans d'autres etc...

Effectivement, il manque pleins d'images et autres jolis boutons, sur la page charg�e dans le webBrowser, mais j'ai l'essentiel dans le webB : le texte de la page.

Or, ce texte, il en manque les 3/4dans ma String^.

L'id�e de r�cup�rer libcurl, pareil : google.

Je me dis na�vement que si le texte qui m'int�resse s'affiche dans le webBrowser, c'est que la page source html est d�chiffr�e au moins correctement jusqu'� ce stade.

Je suis d'accord, pour l'invention de la roue et de l'eau chaude.
Les outils d�di�s, j'ai probablement pas fait la bonne recherche avec google, mais je suis preneur d'une piste ...
21/02/2017, 21h24
M�dinoc

Ton probl�me, c'est qu'une partie du contenu de la page peut avoir en fait �t� g�n�r� c�t� client par le javascript. Et un code qui ne r�cup�re que la source HTML initiale n'aura pas �a.

Edit: D'ailleurs, une bonne exp�rience peut �tre d'ouvrir ledit site avec le javascript d�sactiv�. Si tu as firefox, l'extension QuickJava permet d'activer/d�sactiver javascript (et pas mal d'autres choses) en un clic.
21/02/2017, 21h51
crazyfroggy

Je viens d'installer quickjava.

J'ai d�cliqu� le java et le javascript.

J'ai mis sur off, � la ligne Initial load.

Le site se charge nickel, la page source aussi ....
22/02/2017, 12h34
bacelar

Il n'y a pas que les JavaScripts qui peuvent influencer le contenu du source de la page et sa disponibilit� :
IFRAME, le status HTTP 100, etc...

Un "HttpWebResponse", c'est quand m�me largement plus basique qu'un navigateur complet.

Pouvez-vous nous donner une URL accessible de l'ext�rieur pour charger la page dans nos navigateurs et ainsi voir les particularit�s, voir nous donnez une trace de chargement via Fiddler ?

C'est quoi la finalit� du biniou ? faire du Web scrapping ?
22/02/2017, 13h27
crazyfroggy

je veux r�cup�re le texte de cette page.
http://www.lueur.org/bible/lire/genese1/segond-strong
puis de celles ci
http://www.lueur.org/bible/hebreu-grec/strong/h7225
avec 1 <= h <= 8674
Pour cr�er un dictionnaire version - th�me, et un outil qui me fera r�viser le dico (interrogation avec des crit�res de raret� d'un mot, en fonction r�sultats des interros pr�c�dentes, etc...)

Encore merci pour le temps que vous prenez � me r�pondre.
Je suis aller voir le source de HtTrack, mais le source n'est quasi pas document� avec des commentaires, et �a a tout de l'usine � gaz.

�a ressemble quand m�me beaucoup � du Web scrapping, qui n'est pas forcement autoris� par les charg�s du site.
V�rifiez que vous restez dans la l�galit�, et si les charg�s du site sont ouverts, ils devraient d�j� mettre � disposition un WebService, plus facile � utiliser pour les programmes.

En utilisant un sniffer r�seau (Wireshark), le flux de la r�ponse n'a pas de grande originalit�, quand j'utilise un vieux IE8 (j'ai que �a sous la main).

A v�rifier avec votre "WebRequest", que le serveur Web ne fasse pas des "excentricit�s", en utilisant un sniffer r�seau.

Le code que vous avez donn� plante parce que vous ne faites pas une requ�te HTTP, car vous utilisez un protocole "file:" et non "http:".

Pour vos tests, utilisez directement une URL "http:".
Code:

1 2 3 4 5 6 7 8 9 10 String^ PATH = "http://www.lueur.org/bible/lire/genese1/segond-strong"; WebRequest^ Request = WebRequest::Create(PATH); HttpWebResponse^ Response = dynamic_cast<HttpWebResponse^>(Request->GetResponse()); Stream^ Stream1 = Response->GetResponseStream(); StreamReader^ SReader = gcnew StreamReader(Stream1); String^ Responsestring = SReader->ReadToEnd(); SReader->Close(); Stream1->Close(); Response->Close();

26/02/2017, 13h55
crazyfroggy

J'avais pourtant test�, avec le site endirect, �a doit �tre le Credential qui me mettait aussi le bazar.

L�, �a marche nickel, merci beaucoup pour ton aide.