Convolution rapide en C/C++

Version imprimable

30/06/2009, 16h37
amarion

Convolution rapide en C/C++

Bonjour � tous,
J'ai besoin d'optimiser un morceau d'algorithme faisant une convolution.
Cod� en Matlab, la convolution (conv2) d'une matrice de taille 4000*1600 par un noyau de taille 105*81 est de l'ordre de 6s sur un P4 standard.
A priori, on ne sait pas comment Matlab convolue avec conv2. Je pense qu'il utilise la FFT.
J'aimerais r�duire ce temps en passant en C ou C++. Je me penche donc sur l'utilisation de la FFT. En utilisant FFTW, on arrive � une quinzaine de seconde pour effectuer les FFT et IFFT sur une image de 4096*2048. On remarque �galement que la fonction FFT2 de Matlab mets � peur pr�s 2 � 3 fois moins de temps que la librairie C FFTW.

Quelqu'un a-t-il une id�e � proposer pour acc�l�rer le processus de convolution? Je reste surpris de ne pas r�ussir � faire mieux en C.
J'ai vu rapidement les librairies MKL de chez Intel o� une FFT est cod�e. Des id�es quant � son efficacit�?

Pensez-vous qu'il soit possible de r�duire le temps de convolution par FFT (ou pas d'ailleurs) � 1 seconde environ pour les tailles donn�es en d�but de post?

Merci d'avance pour vos avis,
Adrien
30/06/2009, 17h30
themadmax

Je ne comprend pas exactement, une convolution est bien differant pour moi d'une FFT ( http://docs.gimp.org/fr/plug-in-convmatrix.html ). Pour ce qui est de cod� cela en C, c'est assez simple est tr�s rapide. De plus de nombreuse lib de T.I. basic l'impl�mente. Pour avoir des temps de rendu encore plus rapide il est possible d'am�liorer les algo de parcours d'image, ou descendre en ASM.
30/06/2009, 17h40
Invit�(e)

Citation:

Envoy� par themadmax

Je ne comprend pas exactement, une convolution est bien differant pour moi d'une FFT

Une convolution dans l'espace image correspond � une multiplication dans l'espace fr�quentiel.
30/06/2009, 18h12
JolyLoic

A priori, m�me si un programme �crit en langage matlab n'est pas tr�s optimis�, les fonctions qui sont appel�es par ces programmes le sont assez bien.

Pour ce qui est la version Intel, aucune id�e, je n'ai pas essay�, mais �a me semblerait une option � tenter.
30/06/2009, 21h08
poukill

En effet, Matlab utilise LAPACK derri�re. Pour tout ce qui est calcul matriciel, Matlab, �a carbure. Ce sont des fonctions C tr�s bien optimis� derri�re !
Par contre, d�s qu'il y a des grosses boucles � la main, attention l'escargot ! ;)

Il est en effet fort probable que Matlab utilise la FTT, c'est plus rapide sur les grosses matrices. Matlab est vraiment beaucoup plus rapide que FFTW ?
30/06/2009, 22h51
Invit�

Si le filtre est d'une longueur nettement plus faible que l'�chantillon, des m�thodes de type overlap-save ou overlap-add vont g�n�ralement aller plus vite que la FFT directe de l'�chantillon complet.

Par ailleurs, il n'y a pas que la transform�e de Fourier qui acc�l�re la convolution. J'ai souvenir d'une transformation voisine �vitant les complexes (et donc pas mal de calculs en plus), due � Nussbaumer (je crois me souvenir qu'elle est d�crite dans un exercice du Knuth (chap 4.3.3.C).

Un excellent livre r�cent sur le sujet est Modern Computer Algebra, de von zur Gathen et Gerhard. Tu devrais y trouver ton bonheur au chapitre 8.

Themadmax, l'utilisation de la tranform�e de Fourier est un "truc" math�matique. En fait, si "*" note la convolution de deux fonctions, "x" leur produit, et TF leur transform�e de Fourier, on a

TF(f*g)=TF(f)xTF(g)

En appelant ITF la transform�e inverse de fourier, on a donc

f*g = ITF( TF(f)xTF(g) )

Le "truc" consiste � remarquer que le calcul direct de f*g est quadratique (O(n^2) pour des matrices de taille n), et que la Transform�e de Fourier et son inverse sont O(n Log n) (et le produit O(n)). Au global, le calcul via les Transform�es va donc �tre O(n log n), pour de grandes valeurs de n, passer par la FFT ira plus vite.

Francois
01/07/2009, 09h27
amarion

Merci aux auteurs des r�ponses.
Je ne savais pas Matlab s'appuyait sur LAPACK, c'est bon � savoir.
Pour la diff�rence entre la fft Matlab et fftw, il doit y avoir un rapport 2 � 3 donc je ne sais pas sur quoi s'appuie FFT2 de Matlab...

Sinon, je pense que FFT (et non FFT2) de Matlab utilise la multiplication polynomiale.

En ce qui concerne les m�thodes de type overlap-save, c'est une piste int�ressante � �tudier. Je vais voir �a �tant donn� la grande taille des matrices utilis�es. L'id�e serait d'adapter la m�thode dite overlap-save en calculant uniquement des morceaux de FFT avec FFTW?

Merci,
Adrien
01/07/2009, 09h58
Invit�

Citation:

Envoy� par amarion

En ce qui concerne les m�thodes de type overlap-save, c'est une piste int�ressante � �tudier. Je vais voir �a �tant donn� la grande taille des matrices utilis�es. L'id�e serait d'adapter la m�thode dite overlap-save en calculant uniquement des morceaux de FFT avec FFTW?

Oui, l'id�e g�n�rale des m�thodes overlap (save ou add) c'est que quand tu fait une convolution avec un filtre plus petit que tes donn�es, des parties "�loign�es" du r�sultat vont �tre ind�pendantes.

Donc tu fais plusieurs calcul de convolution sur des segments r�duits de ton image d'entr�e (qui se recoupent, d'o� le terme d'overlap), et r�assemble les r�sultats pour avoir le r�sultat final (en les additionnant dans le cas de la m�thode add, en les supprimant partiellement dans le cas de la m�thode save).

Ceci dit, je suis pr�t � parier que Matlab utilise cela dans sa fonction de convolution, et comme ses fonctions bas niveau sont du C bien cod�, il va �tre difficile � battre.

Francois
01/07/2009, 17h28
Jerome Briot

Citation:

Envoy� par poukill

Il est en effet fort probable que Matlab utilise la FTT, c'est plus rapide sur les grosses matrices. Matlab est vraiment beaucoup plus rapide que FFTW ?

Je ne suis pas un sp�cialiste de ces questions... mais je me d�brouille assez bien avec la doc de MATLAB :aie:

Pour la fonction CONV2 :

Citation:

conv2 uses a straightforward formal implementation of the two-dimensional convolution equation in spatial form

Voir la section algorithme ici : http://www.mathworks.com/access/help...ref/conv2.html

Pour FFT2 :

Citation:

fft2(X) can be simply computed as

fft(fft(X).').'

Voir encore une fois la section algorithme ici : http://www.mathworks.com/access/help.../ref/fft2.html

Et pour FFTW... cette biblioth�que est bien int�gr�e dans MATLAB.

On peut d'ailleur lire dans la documentation de la fonction FFT :

Citation:

The FFT functions (fft, fft2, fftn, ifft, ifft2, ifftn) are based on a library called FFTW

La boucle est boucl�e :mrgreen: