共分散とは？ わかりやすく解説

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2021/01/11 09:02 UTC 版)

「主成分分析」の記事における「共分散」の解説

XTX はデータセット Xから与えられる経験的な標本共分散行列に比例する。 データセット X に対する、2つの異なる主成分の間の標本共分散 Q は以下のようにして得られる： Q ( P C j , P C k ) ∝ ( X w j ) T ⋅ ( X w k ) = w j T X T X w k   = ( ∗ ) w j T λ k w k ( X T X w k = λ k w k ) = λ k ‖ w k ‖ 2 . {\displaystyle {\begin{aligned}Q(\mathrm {PC} _{j},\mathrm {PC} _{k})&\propto (\mathbf {X} \mathbf {w} _{j})^{\mathrm {T} }\cdot (\mathbf {X} \mathbf {w} _{k})\\&=\mathbf {w} _{j}^{\mathrm {T} }\mathbf {X} ^{\mathrm {T} }\mathbf {X} \mathbf {w} _{k}\\&~{\overset {(\ast )}{=}}\mathbf {w} _{j}^{\mathrm {T} }\lambda _{k}\mathbf {w} _{k}\qquad (\mathbf {X} ^{\mathrm {T} }\mathbf {X} \mathbf {w} _{k}=\lambda _{k}\mathbf {w} _{k})\\&=\lambda _{k}\Vert \mathbf {w} _{k}\Vert ^{2}.\end{aligned}}} (∗) の変形において、wk が行列 XTX の固有値 λk に対応する固有ベクトルであることを利用した。XTX は対称行列であり、対称行列の異なる固有値に対応する固有ベクトル達は互いに直交するから、結局データセット X に対する異なる主成分間の標本共分散 Q(PCj, PCk) はゼロとなる。 上述の結果を言い換えると、主成分変換は経験的な標本共分散行列を対角化する座標変換であると特徴づけられる。 元々の基底に対する経験共分散行列 Q は行列記法によって以下のように表わすことができる。 Q ∝ X T X = W Λ W T . {\displaystyle \mathbf {Q} \propto \mathbf {X} ^{\mathrm {T} }\mathbf {X} =\mathbf {W} \mathbf {\Lambda } \mathbf {W} ^{\mathrm {T} }.} ここで Λ は XTX の固有値 λk からなる対角行列である。固有値 λk は対応する添え字の主成分得点の二乗和に等しい。 λ k = ‖ X w k ‖ 2 = ∑ i = 1 n ( x i ⋅ w k ) 2 = ∑ i = 1 n t k ( i ) 2 . {\displaystyle \lambda _{k}=\|\mathbf {X} \mathbf {w} _{k}\|^{2}=\sum _{i=1}^{n}(\mathbf {x} _{i}\cdot \mathbf {w} _{k})^{2}=\sum _{i=1}^{n}t_{k(i)}^{2}.} 行列 W が得られれば、行列 W の直交性を利用して、主成分ベクトルを基底とする経験共分散行列として次の表示が得られる。 W T Q W ∝ W T W Λ W T W = Λ . {\displaystyle \mathbf {W} ^{\mathrm {T} }\mathbf {Q} \mathbf {W} \propto \mathbf {W} ^{\mathrm {T} }\mathbf {W} \,\mathbf {\Lambda } \,\mathbf {W} ^{\mathrm {T} }\mathbf {W} =\mathbf {\Lambda } .}

※この「共分散」の解説は、「主成分分析」の解説の一部です。
「共分散」を含む「主成分分析」の記事については、「主成分分析」の概要を参照ください。