R�cup�rer le Code d'une page HTML

Version imprimable

03/12/2012, 12h19
kurul1

R�cup�rer le Code d'une page HTML
Bonjour � tous

J'essaye de r�cup�rer le code source d'une page HTML dans un programme pour l'analyser et j'ai une erreur syst�matiquement

J'ai suivit plusieurs post sur ce forum mais sans r�sultats

j'ai ceci comme erreur

Code:

Exception 'first chance' à $7563C41F. Classe d'exception EIdHTTPProtocolException avec un message 'HTTP/1.1 302 Found'. Processus .....

il semble qu'il manque quelque chose mais je ne sais pas quoi

j'utilise le composant TidHTTP
Voici mon code
Code:

1 2 3 4 5 6 TMemoryStream *Stream = new TMemoryStream(); IdHTTP->Get(EditURL->Text, Stream); TStringList *Liste = new TStringList(); Liste->LoadFromStream(Stream);
L'erreur est sur la ligne Get

Merci d'avance pour votre aide

Je fais plut�t comme �a pour r�cup�rer une page :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
TStringStream* pStringStream = new TStringStream();
TIdHTTP* mpIdHTTP = new TIdHTTP(NULL);
mpIdHTTP->ReadTimeout = 2000;
try
    {
    mpIdHTTP->Get(url, pStringStream);
    }
catch(Exception &e)
    {
    ...
    }
ShowMessage(pStringStream->DataString);
...

03/12/2012, 12h43
papemignane
Citation:
Envoy� par kurul1

Bonjour � tous

J'essaye de r�cup�rer le code source d'une page HTML dans un programme pour l'analyser et j'ai une erreur syst�matiquement

J'ai suivit plusieurs post sur ce forum mais sans r�sultats

j'ai ceci comme erreur

Code:

Exception 'first chance' à $7563C41F. Classe d'exception EIdHTTPProtocolException avec un message 'HTTP/1.1 302 Found'. Processus .....

il semble qu'il manque quelque chose mais je ne sais pas quoi

j'utilise le composant TidHTTP
Voici mon code

Code:

1 2 3 4 5 6 TMemoryStream *Stream = new TMemoryStream(); IdHTTP->Get(EditURL->Text, Stream); TStringList *Liste = new TStringList(); Liste->LoadFromStream(Stream);

L'erreur est sur la ligne Get

Merci d'avance pour votre aide
Soit plus explicite

Tout d'abord merci � vous deux pour vos r�ponses
Citation:
Envoy� par PocoYote
Je fais plut�t comme �a pour r�cup�rer une page :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 TStringStream* pStringStream = new TStringStream(); TIdHTTP* mpIdHTTP = new TIdHTTP(NULL); mpIdHTTP->ReadTimeout = 2000; try { mpIdHTTP->Get(url, pStringStream); } catch(Exception &e) { ... } ShowMessage(pStringStream->DataString); ...
J'ai toujours la m�me erreur en utilisant ta m�thode PocoYote

Citation:

Envoy� par papemignane

Soit plus explicite

En quoi voudrais-tu que je soit plus explicite papemignane. Je voudrais r�cup�rer le code HTML d'une page dont je connais l'URL pour analyse son code

03/12/2012, 13h49
Argol_Medusa
Citation:
Envoy� par kurul1

Bonjour � tous

Code:

1 2 3 4 TMemoryStream *Stream; Stream = new TMemoryStream(); IdHTTP->Get(EditURL->Text, Stream);
J'utilise exactement la m�me m�thode, �a fonctionne.

Est-ce que tu n'as pas un firewall qui bloque ou quelque chose comme �a plut�t?

Par exp�rience c'est toujours un probl�me de blocage de port dans 80% des cas :calim2:

( Par contre oublie pas de delete tes objets )
03/12/2012, 13h53
kurul1

J'y ai pens� justement et j'ai essay� en d�sactivant le parefeu mais c'est pareil

Pour pr�ciser un peut mon erreur, j'ai une boite de dialogue avec marqu� HTTP/1.1.302 Fond qui s'affiche
03/12/2012, 14h21
PocoYote

http://en.wikipedia.org/wiki/HTTP_302

A priori il te propose une redirection.
03/12/2012, 14h35
kurul1

Ok merci pour ta r�ponse mais je ne sais pas comment faire pour passer outre, car moi la redirection ne m'int�resse pas, ce que je veux c'est le code de la page en cours
03/12/2012, 21h02
Crayon

Salut, pour les redirection il suffit d'ajouter ceci:

Code:

IdHTTP->HandleRedirects = true;

Si tu veux plus d�exemple avec TIdHTTP, va faire un tour sur mon blogue. Je me suis pas mal amus� avec �a r�cemment: http://www.optimatek.com/category/cppbuilder/
04/12/2012, 08h06
Argol_Medusa

C'est quoi ton url ?
As-tu essay� avec une autre adresse toute simple ( http://www.chemin/nom_du_fichier_complet.Bin ) histoire de voir si c'est li� � l'objet en lui-m�me que tu essayes de charger ou si c'est un autre probl�me ( utilises-tu proxy ? )
04/12/2012, 15h42
kurul1

Merci � vous deux

Crayon
J'ai vu cette propri�t� et je l'ai mise � true comme tu me le conseil et je n'ai plus d'erreur. par contre j'obtiens un document vide.

Argol_Medusa j'ai essay� avec une autre adresse et cela fonctionne avec la propri�t� que Crayon m'a conseill� � true

Apr�s quelques recherche, en fait m'a page est un script cgi d'o� la page vide.
J'ai trouv� ceci

http://www.delphipages.com/forum/sho....php?t=187814/

Mais je n'ai pas trouv� le composant dans C++ builder XE3

j'ai essay� d'importer les composant HTML Object Library de Microsoft mais j'ai une erreur � la complilation

[bcc32 Erreur] MSHTML_OCX.cpp(45554): E2491 Compte VIRDEF maximal d�pass� ; v�rifiez la r�cursivit�)

et je ne sais pas de quoi cela viens
04/12/2012, 20h43
Crayon

Salut, comme Argol_Medusa l'a mentionn�, avoir le lien pour la page web o� l'information doit �tre r�cup�r� pourrait nous aider.

Sinon, est-ce que tu as essayer d'utiliser les composants ICS?
05/12/2012, 08h35
kurul1

C'est le r�sultat de ce formulaire qu'un coll�gue voudrais que je lui r�cup�re, ce sont les r�sultats du marathon de new-york

http://web2.nyrrc.org/cgi-bin/start....ve_search.html

Sinon je vais essay� ICS merci Crayon
05/12/2012, 21h48
Crayon
Salut kurul1, le site web que tu as �cris fonctionne par requ�te POST et non par GET. Voir http://fr.wikipedia.org/wiki/HTTP#M.C3.A9thodes

Donc, il ne faut pas faire:

Code:

mpIdHTTP->Get();

Mais plut�t:

Code:

mpIdHTTP->Post();

Voici la liste des param�tres POST � envoyer avec certaines valeurs:
- AESTIVACVNLIST input.searchyear,input.top,input.agegroup,input.f.hh,input.f.mm,input.t.hh,input.t.mm,team_code,input.state,input.country,input.top.wc
- input.agegroup
- input.bib
- input.country
- input.f.age
- input.f.hh
- input.f.mm
- input.hist.fname
- input.hist.lname
- input.lname
- input.searchyear 2011
- input.state
- input.t.age
- input.t.hh
- input.t.mm
- input.top 10
- input.top.wc 10
- search.method search.flat
- team_code
- top.wc.type P

Merci � toi Crayon

J'ai donc fait ceci mais cela ne fonctionne toujours pas, j'obtient en retour le code de la page d'accueil du site

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
 
void __fastcall TForm1::Button2Click(TObject *Sender)
{
	TIdMultiPartFormDataStream *Param = new TIdMultiPartFormDataStream();
	String Reponse;
 
	// On construit les paramètres
	Param->AddFormField("search.method", "search.agegroup", "", "RADIO", "");				// search_method par age
	Param->AddFormField("input.hist.fname", "", "", "TEXT", "");								// input.hist.fname par défaut vide
	Param->AddFormField("input.hist.lname", "", "", "TEXT", "");								// input.hist.lname par défaut vide
	Param->AddFormField("top.type", "", "", "RADIO", "");										// top.type par défaut rien n'est sélectionné
	Param->AddFormField("input.f.age", "", "", "TEXT", "");										// input.f.age par défaut vide
	Param->AddFormField("input.t.age", "", "", "TEXT", "");										// input.t.age par défaut vide
	Param->AddFormField("input.lname", "", "", "TEXT", "");										// input.lname par défaut vide
	Param->AddFormField("input.bib", "", "", "TEXT", "");										// input.bib" par défaut vide
	Param->AddFormField("top.wc.type", "P", "", "RADIO", "");										// top.wc.type par défaut vide
	Param->AddFormField("top.wc.gender", "", "", "RADIO", "");									// top.wc.gender par défaut rien n'est sélectionné
 
	// on va construire la chaine AESTIVACVNLIST
	String AESTIVACVNLIST = "2011,10,Male 40 to 44,,,,,,,,";
 
	// on ajoute le paramètre
	Param->AddFormField("AESTIVACVNLIST", AESTIVACVNLIST, "", "HIDDEN", "");
 
	// On se met en Mode multipart/form-data
	IdHTTP->Request->ContentType = "multipart/form-data";
 
	Reponse = IdHTTP->Post(EditURL->Text, Param);
 
	Memo1->Lines->Add(Reponse);
}

Petite erreur sur la ligne de AESTIVACVNLIST j'avais oubli� que le dernier param�tre avait une valeur par d�faut

Apr�s correction

Code:

1
2
 
	String AESTIVACVNLIST = "2011,10,Male 40 to 44,,,,,,,,10";

Mais toujours pareil, j'obtiens la page d'accueil du site

J'ai aussi essay� ces deux autres fa�on mais cela ne change rien

1�re en ajoutant des guillemets

Code:

String AESTIVACVNLIST = "\"2011\",\"10\",\"Male 40 to 44\",\"\",\"\",\"\",\"\",\"\",\"\",\"\",\"10\"";

2�me en ajoutant un �l�ment par param�tres

Code:

1
2
3
4
5
6
7
8
9
10
11
12
 
	Param->AddFormField("AESTIVACVNLIST", "2011"); 			// input.searchyear défaut 2011
	Param->AddFormField("AESTIVACVNLIST", "10");				// input.top défaut 10
	Param->AddFormField("AESTIVACVNLIST", "Male 40 to 44");		// input.agegroup
	Param->AddFormField("AESTIVACVNLIST", "");					// input.f.hh défaut à vide
	Param->AddFormField("AESTIVACVNLIST", "");					// input.f.mm défaut à vide
	Param->AddFormField("AESTIVACVNLIST", "");					// input.t.hh défaut à vide
	Param->AddFormField("AESTIVACVNLIST", "");                  // input.T.mm défaut à vide
	Param->AddFormField("AESTIVACVNLIST", "");                  // team_code défaut à vide
	Param->AddFormField("AESTIVACVNLIST", "");                  // input.state défaut à vide
	Param->AddFormField("AESTIVACVNLIST", "");                  // input.country défaut à vide
	Param->AddFormField("AESTIVACVNLIST", "10");					// input.top.wc défaut à 10

07/12/2012, 21h02
Crayon

Salut, j'ai vu que le site web utilise les cookies suivants: aestiva.cookieid, aestiva.cookiesid et BIGipServerweb2.nyrrc.org. Donc il te faudrait peut-�tre utiliser un contr�le TIdCookieManager.

Sa va pas �tre facile, mais je suis certain que c'est faisable. :)