Discussion :

[anubis55]

Bonsoir � tous.
Je m'adresse � vous car je n'ai pas trouver de solutions � mon probl�me et je suis � court de temps.
En effet, j'impl�mente une approche que j'ai moi-m�me propos� dans mon projet de fin d'�tudes. Je travaille sur la recherche d'information personnalis�e sur Internet et l'approche que j'ai propos�e ce base exclusivement sur les r�sultats de recherche retourn�s par Google.
Dans mon application, j'analyse l'Html des r�sultats de Google � l'aide de la librairie "HtmlAgilityPack" afin de r�cup�rer les Urls des pages web que Google a trouv� suite � la requ�te que je lui ai pass�. Apr�s r�cup�ration de toutes les Urls, je dois r�cup�rer l'Html de chaque page.

Le probl�me c'est que j'ai un grand nombre de pages � r�cup�rer (entre 100 et 1000 pages) et faire �a en local c'est vraiment gal�re. J'ai test� �a en local en divisant la r�cup�ration des pages sur des threads, �a m'a pris 17 minutes et 11 secondes pour t�l�charger 400 pages et mon encadreur m'a dit que c'est inacceptable. Ce processus de recherche et de r�cup�ration peut se r�p�ter autant de fois que le d�sire l'utilisateur, alors vous imaginez si l'utilisateur doit attendre 20 minutes � chaque recherche.

Donc un ami m'a conseill� d'�crire un code C# pour r�cup�rer l'Html des pages web qu'il me faut et de mettre ce code dans une page ASP.NET (vu que je travaille sous C#.NET) et mon application fera appel � cette page qui ex�cutera ce code et retournera une liste d'objets contenant les r�sultats � mon application. Ceci afin de profiter de la puissance des serveurs qui h�bergent les pages ASP.NET et pallier au probl�me de temps d'ex�cution qui me fait d�faut.

Malheureusement, il n'y connait pas grand chose � l'ASP.NET et mes connaissances dans ce langage sont nulles.
Je vous demande donc � vous, de m'aider sur ce probl�me, me donner une solution de page ASP.NET qui correspondrait � la suggestion de mon ami, car l� il ne me reste vraiment plus de temps pour trouver une autre solution ou changer mon approche puisque mon application est presque termin�e et le seul truc qui me fait d�faut c'est la r�cup�ration des pages web dans un temps minime.

N'importe quelle solution faisable qui me ferait gagner du temps est la bienvenue.

Je vous remercie d'avance.

[Nathanael Marchand]

Le mettre sur un serveur ou il y'a ASP.Net ne changera strictement rien du tout... Je vois d'ailleurs pas le rapport.

[anubis55]

Ben la vitesse d'ex�cution des serveurs d'h�bergement est plus puissante que la vitesse d'ex�cution d'un simple PC.

[Nathanael Marchand]

Bof... Pas tellement... Tout d�pend des machines et avec la puissance des machines actuelles la diff�rence n'est pas si marqu�e...
Si jprend mon PC de bureau, j'ai un Core2 Quad Q9400 alors que mes deux serveurs d�di�s sont un Intel Atom et un Core 2 Duo. Victoire mon pc de bureau!
Et puis, qu'est ce qui te dis que c'est ton CPU qui est limitant? Un scooter 50cm^3, t'as beau le mettre sur une autoroute, c'est pas pour ca que t'iras � 130km/h
Bref, c'est pas si simple que ca! En plus, m�me chose pour la parall�lisation, as tu identifi� les goulots d'�tranglement?

[anubis55]

Bon je t'explique le principe de mon approche de parall�lisation :
J'ai 20 requ�tes Google � ex�cuter, j'ai affect� chaque requ�te � un Thread qui est sens� r�cup�rer 20 pages. Je les lance tous en m�me temps et je les laisse chacun r�cup�rer les 20 pages. J'ai test� �a et j'ai obtenu 400 pages en 17 minutes et 11 secondes.

Que veux-tu dire par les goulots d'�tranglement???

[hegros]

Je pense que lorsqu'il parle de goulots d'�tranglements il veut dire=>Si tu n'as qu'un seul thread qui ex�cute le 20 requ�tes qu'est-ce qui consomme le plus de temps ? Parce que si google prends 90% du temps pour r�pondre � ta requ�te alors le goulot d'�tranglement se situe � ce niveau sinon si 90% du temps est consomm� dans une classe � toi pour d�coder la requ�te c'est encore autre chose.

Cependant quelque chose me semble pas clair, est-ce que les 20 requ�tes sont les m�mes pour tes 20 threads ? Car j'ai du mal � comprendre pourquoi envoyer 20 fois 20 requ�tes identiques ou alors ce n'est pas des requ�tes identiques et dans ce cas on peut se poser la question de quelles requ�tes consomment le plus de temps (dans la mesure o� le goulot d'�tranglement est l�)?