Analyses Factorielles M1 EA p1
Analyses Factorielles M1 EA p1
Analyses Factorielles M1 EA p1
Université de Lille
2 ACP
3 AFC
4 ACM
Définition 1 (Echantillon)
On considère une variable aléatoire réelle X et n réalisations indépendantes et identiquement
distribuées X1 , · · · , Xn .
On appelle Xi la réalisation du i-ieme individu pour la variable X.
Définition 2 (Poids)
Chaque individu i est affecté par un poids pi . Les pi vérifient
ÿ
n
pi > 0, pi = 1.
i=1
la moyenne empirique du n-échantillon de loi celle de X si tous les individus ont la même poids.
Dans le cas général
ÿ
n
X= pi Xi .
i=1
1 ÿ
n
2
‡X = (Xi ≠ X)2 .
n
i=1
2
qn
dans le cas général ‡X = i=1
pi (Xi ≠ X)2 . L’écart-type empirique est la racine carrée de la
variance empirique.
Définition 5
On appelle covariance empirique des deux échantillons X et Y la quantité
1 ÿ
n
ou encore
ÿ
n
Cov(X, Y) = pi (Xi ≠ X)(Yi ≠ Y )
i=1
Définition 6
On appelle corrélation entre X et Y la quantité
Cov(X, Y)
Cor(X, Y) = .
Var(X) Var(Y)
Définition 7 (Matrices)
Une matrice A = An,p de n lignes et p colonnes est un tableau
Q R
a1,1 ··· a1,p
.. .. ..
A=a . . .
b
an,1 ··· an,p
De plus les produits AB € et AC existent mais pas AB. Le produit matriciel n’est pas forcément
commutatif (AC ”= CA en général). Le produit de deux matrices est une matrice ayant le nombre
de lignes de la première et le nombre de colonnes de la seconde.
On note In la matrice identité de taille n
Q R
1 0
In = a .. b
.
0 1 n,n
qui est telle que pour toute matrice A telle que le produit In A ou In A est possible,
A = In A = AIn
AB = In
alors
BA = In , et on note B = A≠1
ÿ
k
tr(A) = aii ;
i=1
En particulier, si on se donne deux vecteurs x, y œ Rk , leur produit scalaire est donné par
ÿ
k
xÕ y = xi yi = yÕ x.
i=1
Exercices :
I Calculez les produits scalaires 1Õ a, bÕ a et 1Õ b.
I Calculez AAÕ ainsi que tr(AAÕ ).
I Soit I3 la matrice identité en dimension 3. Calculez C = (A ≠ I3 )AÕ ainsi que la trace de AC.
Vérifier que tr(AC) = tr(CA).
Preuve.
On peut alors remarquer que les deux vecteurs Pu‹ (v) et v ≠ Pu‹ (v) sont orthogonaux. La
projection orthogonale de v sur u vérifie (grâce au théorème de Pythagore) le programme de
minimisation suivant
C’est donc un polynôme du second degré de coefficient de plut haut degré positif. On a donc
) * u 1
arg min f (b) = b/f (b) = 0
Õ
=È , vÍ .
ÎuÎ ÎuÎ
L’inégalité de Cauchy-Schwarz nous assure ici que le cos est bien dans [≠1, 1]. D’autre part, on
retrouve que deux vecteurs sont orthogonaux si et seulement si le cosinus de l’angle est égal à 0.
Èvi , vj Í = 0 si i ”= j
Èvi , vj Í = 1 si i = j
Proposition 4
Les vecteurs v1 , · · · , vp sont linéairement indépendants et forment une base de Rp .
⁄1 v1 + · · · + ⁄p vp = 0.
On a alors
Èv1 , ⁄1 v1 + · · · + ⁄p vp Í
= ⁄1 Èv1 , v1 Í + · · · + ⁄p Èv1 , vp Í
= ⁄1 .
D’autre part,
Èv1 , ⁄1 v1 + · · · + ⁄p vp Í
= Èv1 , 0Í
= 0.
On en déduit que ⁄1 = 0. Par le même raisonnement, nous pouvons montrer que pour tout
i = 1, · · · , p, ⁄i = 0 ce qui montre que la famille des v1 , · · · , vp est libre.
’x œ Rp , ÷!(⁄1 , · · · , ⁄p )Õ œ Rp ,
x = ⁄1 v1 + · · · + ⁄p vp .
’i = 1, · · · , p, ⁄i = Èx, vi Í
et la représentation suivante de x :
‹
Îy ≠ PE (y)Î = min Îy ≠ zÎ.
zœE
ÿ
k
z= a j uj .
j=1
Observons que
Îy ≠ zÎ2
. p .
.ÿ ÿ k .
.
=. Èy, ui Íui ≠
.
a j uj .
. i=1 j=1
.
. k .
.ÿ ÿ p .
.
=. (Èy, ui Í ≠ ai ) ui +
.
Èy, uj Íuj .
. .
i=1 j=k+1
ÿ
k
‹
’y œ Rp , ÷!PE (y) = Èy, ui Íui .
i=1
Proposition 5
1 ‹ (y) est linéaire
y ‘æ PE
! " ‹ (y) est la projection orthogonale de y sur l’orthogonal de E
2 y ‘æ Id ≠ ‹
PE (y) = y ≠ PE
noté E ‹ .
3 La norme de y peut être décomposée de la façon suivante :
ÎyÎ2 = ÎPE‹ (y)Î2 + Îy ≠ P ‹ (y)Î2 .
E
4 Si y œ E, alors PE
‹ (y) = y.
On peut facilement vérifier que PE‹ ¶ P ‹ = P ‹ , trace(P ‹ ) = k, que 1 est une valeur propre
E E E
d’ordre k et que 0 est une valeur propre d’ordre p ≠ k. Enfin, PE
‹ est symétrique.
+ ,
y≠ ‹
PE (y), z = 0, ’z œ E.
+ ,
Cela équivaut à Èy, zÍ = PE
‹ (y), z pour z dans E.
Preuve 2
+ ,
Comme y ≠ appartient à
‹ (y)
PE E‹,
on a y ≠ = 0 pour tout z dans E. Supposons
‹ (y), z
PE
maintenant qu’il existe y1 dans E tel que pour tout z dans E, Èy ≠ y1 , zÍ = 0. Par la
décomposition de y, on obtient + ,
y1 ≠ PE (y), z = 0
‹
+ ,
Îy1 ≠ ‹
PE (y)Î2 = y1 ≠ ‹
PE (y), y1 ≠ ‹
PE (y) = 0.
On en déduit y1 = PE
‹ (y).
X = (x1 | · · · |xk )
X— = —1 x1 + · · · , +—k xk .
On a donc ) *
E= xœR p
/ ÷— œ R k
x = X—
Lemme 1
Si les xi , i = 1, · · · , k sont linéairement indépendants, alors la matrice XÕ X est inversible.
Preuve 3
Si XÕ X n’est pas inversible, il existe un vecteur non nul — tel que XÕ X— = 0. Alors, on a aussi
— Õ XÕ X— = ÎX—Î2 = 0
— 1 x1 + · · · + —k xk = 0
avec les —i non tous nuls. Donc la famille des xi est liée. On termine la preuve par contraposition.
soit PE
‹ (y) = X(XÕ X)≠1 XÕ y
Remarque 1
Si k = 1 où k est la dimension de E, on projette un vecteur sur un autre :
‹
PE (y) = X(XÕ X)≠1 XÕ y
= x1 (xÕ1 x1 )≠1 xÕ1 y
e f
x1 x1
= ,y .
Îx1 Î Îx1 Î
Preuve 4
) *
Comme E = X—/— œ et PE‹ (y) appartient à E, il existe un unique — ı tel que
Rk
‹ (y) = X— ı .
PE
D’autre part, les conditions d’orthogonalité caractérisant PE‹ (y)nous donnent pour tout — dans
(y ≠ X— ı )Õ X = 0 soit y Õ X = — ıÕ XÕ X.
XÕ X— ı = XÕ y.
Le vecteur u (non nul) associé à ⁄, tel que M.u = ⁄.u est appelé vecteur propre (≠
æ
vp).
Théorème 5
Toute matrice symétrique (réelle) est diagonalisable dans une B.O.N.
Démonstration.
Matriciellement, on obtient
Q R
p Èx, u1 Í⁄1
ÿ ..
Èx, ui Í⁄i ui = (u1 | · · · |up ) a .
b
i=1 Èx, up Í⁄p
Q RQ R
⁄1 0 xÕ u 1
= (u1 | · · · |up ) a ..
.
b a .. b
.
0 ⁄p Õ
x up
= U UÕ x.
Comme
Proposition 6
M positive ≈∆ ’i, ⁄i Ø 0
M définie positive ≈∆ ’i, ⁄i > 0
On a alors
Enfin, si M est définie positive, on définit de la même façon les matrices M≠1 et M≠1/2 .
Exercice 2
Diagonaliser les trois matrices
A B A B A B
1 1 1 2 2 0 2 1 0
A= 1 1 1 , B= 2 0 2 , C= 1 2 0
1 1 1 0 2 2 0 0 2