Ex�cution code C# dans une page ASP.NET

Bonsoir � tous.
Je m'adresse � vous car je n'ai pas trouver de solutions � mon probl�me et je suis � court de temps.
En effet, j'impl�mente une approche que j'ai moi-m�me propos� dans mon projet de fin d'�tudes. Je travaille sur la recherche d'information personnalis�e sur Internet et l'approche que j'ai propos�e ce base exclusivement sur les r�sultats de recherche retourn�s par Google.
Dans mon application, j'analyse l'Html des r�sultats de Google � l'aide de la librairie "HtmlAgilityPack" afin de r�cup�rer les Urls des pages web que Google a trouv� suite � la requ�te que je lui ai pass�. Apr�s r�cup�ration de toutes les Urls, je dois r�cup�rer l'Html de chaque page.

Le probl�me c'est que j'ai un grand nombre de pages � r�cup�rer (entre 100 et 1000 pages) et faire �a en local c'est vraiment gal�re. J'ai test� �a en local en divisant la r�cup�ration des pages sur des threads, �a m'a pris 17 minutes et 11 secondes pour t�l�charger 400 pages et mon encadreur m'a dit que c'est inacceptable. Ce processus de recherche et de r�cup�ration peut se r�p�ter autant de fois que le d�sire l'utilisateur, alors vous imaginez si l'utilisateur doit attendre 20 minutes � chaque recherche.

Donc un ami m'a conseill� d'�crire un code C# pour r�cup�rer l'Html des pages web qu'il me faut et de mettre ce code dans une page ASP.NET (vu que je travaille sous C#.NET) et mon application fera appel � cette page qui ex�cutera ce code et retournera une liste d'objets contenant les r�sultats � mon application. Ceci afin de profiter de la puissance des serveurs qui h�bergent les pages ASP.NET et pallier au probl�me de temps d'ex�cution qui me fait d�faut.

Malheureusement, il n'y connait pas grand chose � l'ASP.NET et mes connaissances dans ce langage sont nulles.
Je vous demande donc � vous, de m'aider sur ce probl�me, me donner une solution de page ASP.NET qui correspondrait � la suggestion de mon ami, car l� il ne me reste vraiment plus de temps pour trouver une autre solution ou changer mon approche puisque mon application est presque termin�e et le seul truc qui me fait d�faut c'est la r�cup�ration des pages web dans un temps minime.

N'importe quelle solution faisable qui me ferait gagner du temps est la bienvenue.

Je vous remercie d'avance.

Le mettre sur un serveur ou il y'a ASP.Net ne changera strictement rien du tout... Je vois d'ailleurs pas le rapport.

Ben la vitesse d'ex�cution des serveurs d'h�bergement est plus puissante que la vitesse d'ex�cution d'un simple PC.

Bof... Pas tellement... Tout d�pend des machines et avec la puissance des machines actuelles la diff�rence n'est pas si marqu�e...
Si jprend mon PC de bureau, j'ai un Core2 Quad Q9400 alors que mes deux serveurs d�di�s sont un Intel Atom et un Core 2 Duo. Victoire mon pc de bureau!
Et puis, qu'est ce qui te dis que c'est ton CPU qui est limitant? Un scooter 50cm^3, t'as beau le mettre sur une autoroute, c'est pas pour ca que t'iras � 130km/h :aie:
Bref, c'est pas si simple que ca! En plus, m�me chose pour la parall�lisation, as tu identifi� les goulots d'�tranglement?

Bon je t'explique le principe de mon approche de parall�lisation :
J'ai 20 requ�tes Google � ex�cuter, j'ai affect� chaque requ�te � un Thread qui est sens� r�cup�rer 20 pages. Je les lance tous en m�me temps et je les laisse chacun r�cup�rer les 20 pages. J'ai test� �a et j'ai obtenu 400 pages en 17 minutes et 11 secondes.

Que veux-tu dire par les goulots d'�tranglement???

Je pense que lorsqu'il parle de goulots d'�tranglements il veut dire=>Si tu n'as qu'un seul thread qui ex�cute le 20 requ�tes qu'est-ce qui consomme le plus de temps ? Parce que si google prends 90% du temps pour r�pondre � ta requ�te alors le goulot d'�tranglement se situe � ce niveau sinon si 90% du temps est consomm� dans une classe � toi pour d�coder la requ�te c'est encore autre chose.

Cependant quelque chose me semble pas clair, est-ce que les 20 requ�tes sont les m�mes pour tes 20 threads ? Car j'ai du mal � comprendre pourquoi envoyer 20 fois 20 requ�tes identiques ou alors ce n'est pas des requ�tes identiques et dans ce cas on peut se poser la question de quelles requ�tes consomment le plus de temps (dans la mesure o� le goulot d'�tranglement est l�)?

Exactement, ce que je cherche � dire c'est � quoi ca te sert d'avoir une foudre de guerre comme pc si c'est � cause du r�seau que c'est lent. A quoi ca te sert d'avoir une connexion de folie si c'est cod� avec les pieds derri�re.
Dans toute d�marche d'optimisation de performances, il y'a une partie mesure. C'est elle qu'est la plus importante! Si tu te tues � optimiser ce qui ne prend d�j� pas de temps, ca ne sert � rien. Avant de trouver un plan d'action, cherche d'abord la cause.
Qui te dis que la librairie accepte par exemple les appels en parall�le? Il est possible qu'elle fasse une file d'attente de toutes les requ�tes.
Je me r�p�te mais sans observations fiables tu ne peux conjecturer sur un plan d'action efficace.

salut

je ne vois pas l'interet de la page ASP !!!

Pour r�cup�rer une page HTML, en C#, cela se fait facilement (cherche code sur internet).. et ensuite, analyser les balises retourner par la page pour y trouver ton information n'a rien � voir avec l'utilisation d'ASP.

Comme dit par Nathanael, dans ce genre de probl�matique de "grand volume", il est important d'identifier ou se situe les limitations de ton syst�me. Si la r�cup�ration de 1000 pages est lente, c'est peut-etre aussi parce que si tu fais plein de requete sur les serveur de google, ceux ci vont "r�duire" ta "bande passante" ou te blacklister...

Il me semble que sur certains serveurs (google je crois le fait), une analyse de l'adresse IP du client est faite pour �viter d'avoir 1000 requetes � la seconde �manant d'un client. 1000 requetes ne peuvent provenir d'une action manuelle, donc, s'est un "syst�me de protection" contre des attaques pirates ou bien une exploitation automatique d'information fournis par des serveurs mais �galement un "bon" moyen de limit� la charge des serveurs et d'�viter qu'ils tombent rapidement fasse � trop de requetes...

D'ailleurs, je ne sais m�me pas si c'est autoris� dans les conditions d'utilisation de Google ce genre de truc.

Bon je vais r�pondre � vos questions :
Premi�rement, les 20 requ�tes que j'affecte aux 20 threads sont toutes distinctes.
Chaque requ�te est de la forme suivante :
http://www.google.fr/search?q=algori...pe:html&num=20
Si vous remarquez bien le dernier param�tre "num" re�oit le nombre de page que va me retourner Google.
Je tiens aussi � vous dire que chaque thread, en ex�cutant sa requ�te Google, le fait imm�diatement et que par cons�quent il n'y a pas de probl�me � ce niveau.
La librairie que j'utilise "HtmlAgilityPack" n'a rien � voir avec le parall�lisme, elle permet d'analyser de fa�on efficace le code Html et d'extraire ais�ment les balises recherch�es de ce derniers. Chaque thread l'utilise dans son code � ex�cuter de fa�on totalement ind�pendante, c'est comme si vous utilisez les expressions r�guli�res pour analyser une chaine de caract�re, c'est le m�me principe.
Le tout le traitement qui se fait en local et qui n'a aucun rapport avec l'envoi des requ�tes Google ou bien avec le t�l�chargement des 20 pages � partir des Urls retourn�es par Google. J'ai essay� de r�cup�rer le code Html d'un r�sultat de Google et j'ai r�cup�r� l'Html des 20 pages et j'ai ex�cut� le traitement d'analyse de l'Html de chaque page, tout ce fait en un eclair sans aucune attente.
Le probl�me r�side dans le t�l�chargement de l'Html de chaque page, c'est �a qui prend le plus de temps.
Une solution m'a �t� propos�e, c'est d'utiliser WCF Services. J'impl�mente mon service web qui fait la r�cup�ration de l'Html de toutes les pages et je l'h�berge dans un serveur. Apr�s je n'aurai qu'� invoqu� le service web de mon application et il me retournera une liste d'objets contenant les pages que je veux. On m'a aussi confirm� que l'ex�cution seront grandement r�duite sur un serveur que sur ma propre machine. C'est un sp�cialiste de l'h�bergement qui m'a confirm� �a. Dans ma machine, je suis limit� par la connexion et par les performances. Par contre, un serveur est destin� � recevoir et � r�pondre rapidement � plusieurs requ�tes. Vous m�me, en parlant des serveurs de Google, vous avez implicitement parl� de �a.
Je vais essayer d'impl�menter et de tester �a et si �a marche, je vous tiendrai au courant.
Je vous remercie pour vos conseils.

D'ailleurs, c'est d�conseill� de proc�der comme tu fais �tant donn� qu'il y'a des API concues pour ca:
http://code.google.com/apis/customse...sing_rest.html

Je ne d�passerai jamais les 1000 requ�tes dans mon application, ce que je fais n'est qu'exp�rimental, dans le cadre de mon projet. En plus j'utilise Google seulement pour r�pondre au mieux � la requ�te de l'utilisateur et donc c'est comme si l'utilisateur utilisait Google dans un navigateur sauf que le navigateur c'est mon application et qu'elle est plus intelligente car elle r�pond au mieux au besoin informationnel de l'utilisateur.