Discussion :

[Plopeur]

Bonjour � tous,

Je vous explique mon soucis.
Je travaille actuellement sur un outils de compression/decompression qui peut prendre en param�tres un liste de fichiers (*.bmp, ...).

L'outil est fonctionnel, cependant dans le cadre d'une am�lioration, j'aimerais que chaque processeur traite un fichier diff�rent afin d'avoir un gain de temps � l'ex�cution. Est-ce possible? Et sur quelle piste dois-je me lancer? Thread, programmation parall�re, ...?

Merci

[koala01]

Salut, et bienvenue sur le forum.

La question qu'il faudrait peut �tre se poser, c'est:

Y a-t-il beaucoup de fichiers, ou sont-ce plut�t les traitements � appliquer � chaque fichier qui prennent du temps

En effet, si tu as, globalement, peu de fichier � traiter mais que le traitement � effectuer est important, tu aurais sans doute � faire en sorte que les diff�rents processeurs (ou coeurs) collaborent pour traiter un fichier � la fois.

A l'inverse, si tu as globalement beaucoup de fichiers mais que le traitement de chaque fichier prend peu de temps, il semblera en effet opportun de faire en sorte que chaque processeur (ou coeur) effectue le traitement sur un fichier particulier.

Le fait est que cela influera fortement sur la mani�re dont tu envisagera le travail en parall�le

[Plopeur]

Merci pour ta r�ponse

Alors pour expliquer un petit peu mieux, le traitement est assez rapide (< 1 seconde par fichier), mais la liste est assez importante ( > 100 fichiers) sans �tre monstrueuse. Je pense qu'il est pr�f�rable que chaque fichier soit trait� par par un seul et unique processeur.

Je suis totalement d�butant sur ce sujet, j'ai essay� de me renseigner sur internet, mais je ne trouve pas grand chose, certainement parce que je ne sais pas trop par o� commencer.

[Mac LAK]

Une solution en g�n�ral efficace sur un grand nombre de donn�es demandant peu de calculs, c'est le principe de la pompe.

En gros : un thread "pompe", sur un des coeurs, ne va faire QUE lire et mettre en buffer les donn�es (le contenu des fichiers pour toi), et les mettre dans une FIFO d�di�e.
Un autre thread (�ventuellement deux ou trois si les tests montrent que c'est efficace) ne va s'occuper QUE du traitement, remettre les donn�es trait�es dans une autre FIFO que ton thread "pompe" va lire, pour �crire les donn�es trait�es vers leur destination finale (des fichiers encore dans ton cas).

Cela marche parce que le thread "pompe", une fois les donn�es charg�es, n'a plus rien � faire : donc, sauvegarder les donn�es ne lui pose pas de probl�mes �tant donn� qu'il est, justement, disponible. En cas de trop grand nombre de donn�es, tu peux avoir � cr�er un autre thread "pompe" pour l'�criture.

L'important, c'est de laisser les threads "pompe" sur un c�ur d�di�, qui ne sera pas utilis� par le(s) thread(s) de traitement.