ماتریس کوواریانس

یک تابع چگالی احتمال دو متغیره گاوسی با مرکز (0، 0)، با ماتریس کوواریانس داده شده توسط ${\begin{bmatrix}1&0.5\\0.5&1\end{bmatrix}}$

نقاط نمونه از یک توزیع گاوسی دو متغیره با انحراف استاندارد 3 تقریباً در جهت پایین چپ-بالا راست و 1 در جهت متعامد. از آنجایی که مولفه های x و y با هم متفاوت هستند، واریانس های $x$ و $y$ توزیع را به طور کامل توصیف نکنید. ماتریس کوواریانس $2\times 2$ مورد نیاز است. جهت فلش ها با بردارهای ویژه این ماتریس کوواریانس و طول آنها با ریشه های مربع مقادیر ویژه مطابقت دارد.

در نظریه احتمال و آمار ، یک ماتریس کوواریانس (همچنین به عنوان ماتریس کوواریانس خودکار، ماتریس پراکندگی ، ماتریس واریانس ، یا ماتریس واریانس کوواریانس نیز شناخته می‌شود) یک ماتریس مربعی است که کوواریانس بین هر جفت از عناصر یک بردار تصادفی معینی را نشان می‌دهد. هر ماتریس کوواریانس متقارن و نیمه معین مثبت است و قطر اصلی آن دارای مقادیر واریانس است.

ماتریس کوواریانس مفهوم واریانس را به ابعاد چندگانه تعمیم می دهد. برای مثال، تغییر در مجموعه ای از نقاط تصادفی در فضای دو بعدی را نمی توان به طور کامل با یک عدد مشخص کرد، همچنین لازم به ذکر است واریانس های موجود در $x$ و $y$ دستورالعمل ها حاوی تمام اطلاعات لازم هستند. ماتریس $2\times 2$ برای توصیف کامل تغییرات دو بعدی ضروری است.

ماتریس کوواریانس یک بردار تصادفی $\mathbf {X}$ است که با علامت $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ یا $\Sigma$نشان داده می شود.

تعریف

در سرتاسر این مقاله، با $\mathbf {X}$ و $\mathbf {Y}$ برای ارجاع به بردارهای تصادفی استفاده می‌شوند و $X_{i}$ و $Y_{i}$ برای اشاره به متغیرهای تصادفی اسکالر استفاده می شود.

اگر مقادیر ورودی در بردار ستونی

$\mathbf {X} =(X_{1},X_{2},...,X_{n})^{\mathrm {T} }$

متغیرهای تصادفی که هر کدام دارای واریانس محدود و مقدار مورد انتظار هستند در نظر گرفته شوند سپس ماتریس کوواریانس $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ ماتریسی است که $(i,j)$ ورودی کوواریانس است.

$\operatorname {K} _{X_{i}X_{j}}=\operatorname {cov} [X_{i},X_{j}]=\operatorname {E} [(X_{i}-\operatorname {E} [X_{i}])(X_{j}-\operatorname {E} [X_{j}])]$

جایی که اپراتور $\operatorname {E}$ مقدار مورد انتظار (میانگین یا همان expected) آرگومان خود را نشان می دهد.

نامگذاری ها و نمادهای متناقض

نامگذاری ها متفاوت است. برخی از آماردانان، به پیروی از ویلیام فلر احتمال گرا در کتاب دو جلدی خود، مقدمه ای بر نظریه احتمال و کاربردهای آن ، ماتریس $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ را واریانس بردار تصادفی $\mathbf {X}$ می نامند، زیرا تعمیم طبیعی به ابعاد بالاتر واریانس 1 بعدی است. دیگران آن را ماتریس کوواریانس می نامند، زیرا ماتریس کوواریانس بین اجزای اسکالر بردار $\mathbf {X}$ است.

$\operatorname {var} (\mathbf {X} )=\operatorname {cov} (\mathbf {X} )=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}\right].$

هر دو فرم کاملا استاندارد هستند و هیچ ابهامی بین آنها وجود ندارد. ماتریس $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ اغلب ماتریس واریانس کوواریانس نیز نامیده می شود، زیرا عبارات مورب (روی قطر اصلی) در واقع واریانس هستند.

همچنین در پایین نماد ماتریس کوواریانس متقاطع بین دو بردار را مشاهده می کنید.

$\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {K} _{\mathbf {X} \mathbf {Y} }=\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {Y} -\operatorname {E} [\mathbf {Y} ])^{\rm {T}}\right].$

خواص

ارتباط با ماتریس خودهمبستگی

ماتریس کوواریانس خودکار $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ مربوط به ماتریس خودهمبستگی است $\operatorname {R} _{\mathbf {X} \mathbf {X} }$ توسط

$\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}]=\operatorname {R} _{\mathbf {X} \mathbf {X} }-\operatorname {E} [\mathbf {X} ]\operatorname {E} [\mathbf {X} ]^{\rm {T}}$

که در آن ماتریس خودهمبستگی به صورت$\operatorname {R} _{\mathbf {X} \mathbf {X} }=\operatorname {E} [\mathbf {X} \mathbf {X} ^{\rm {T}}]$ تعریف شده است.

رابطه با ماتریس همبستگی

ماتریسی نزدیک به ماتریس کوواریانس از لحاظ مفهومی، ماتریس ضرایب همبستگی محصول- لحظه پیرسون بین هر یک از متغیرهای تصادفی در بردار تصادفی $\mathbf {X}$ است، که می تواند به صورت زیر نوشته شود:

$\operatorname {corr} (\mathbf {X} )={\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}}\,\operatorname {K} _{\mathbf {X} \mathbf {X} }\,{\big (}\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} }){\big )}^{-{\frac {1}{2}}},$

جایی که $\operatorname {diag} (\operatorname {K} _{\mathbf {X} \mathbf {X} })$ ماتریس قطری است که عناصر روی قطر آن مقادیر $\operatorname {K} _{\mathbf {X} \mathbf {X} }$ هستند (یعنی یک ماتریس مورب از واریانس های $X_{i}$ برای $i=1,\dots ,n$ ).

به طور مشابه ماتریس همبستگی را می توان به عنوان ماتریس کوواریانس متغیرهای تصادفی استاندارد شده مشاهده کرد.

$\operatorname {corr} (\mathbf {X} )={\begin{bmatrix}1&{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{2}-\mu _{2})]}{\sigma (X_{1})\sigma (X_{2})}}&\cdots &{\frac {\operatorname {E} [(X_{1}-\mu _{1})(X_{n}-\mu _{n})]}{\sigma (X_{1})\sigma (X_{n})}}\\\\{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{1}-\mu _{1})]}{\sigma (X_{2})\sigma (X_{1})}}&1&\cdots &{\frac {\operatorname {E} [(X_{2}-\mu _{2})(X_{n}-\mu _{n})]}{\sigma (X_{2})\sigma (X_{n})}}\\\\\vdots &\vdots &\ddots &\vdots \\\\{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{1}-\mu _{1})]}{\sigma (X_{n})\sigma (X_{1})}}&{\frac {\operatorname {E} [(X_{n}-\mu _{n})(X_{2}-\mu _{2})]}{\sigma (X_{n})\sigma (X_{2})}}&\cdots &1\end{bmatrix}}.$

هر عنصر روی قطر اصلی یک ماتریس covariance، همبستگی یا همان correlation یک متغیر تصادفی با خودش است که همیشه برابر با 1 است. همچنین هر عنصر خارج از مورب موجود بین 1- تا 1+ است.

معکوس ماتریس کوواریانس

معکوس این ماتریس، $\operatorname {K} _{\mathbf {X} \mathbf {X} }^{-1}$ اگر وجود داشته باشد، ماتریس کوواریانس معکوس (طبیعتا)نامیده می شود که به عنوان ماتریس غلظت یا ماتریس دقت نیز شناخته می شود.

خواص اساسی

برای $\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {var} (\mathbf {X} )=\operatorname {E} \left[\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)\left(\mathbf {X} -\operatorname {E} [\mathbf {X} ]\right)^{\rm {T}}\right]$ و $\mathbf {\mu _{X}} =\operatorname {E} [{\textbf {X}}]$ ، جایی که $\mathbf {X} =(X_{1},\ldots ,X_{n})^{\rm {T}}$ یک متغیر تصادفی n بعدی است، ویژگی های اساسی زیر اعمال می شود:

1. $\operatorname {K} _{\mathbf {X} \mathbf {X} }=\operatorname {E} (\mathbf {XX^{\rm {T}}} )-\mathbf {\mu _{X}} \mathbf {\mu _{X}} ^{\rm {T}}$
2. $\operatorname {K} _{\mathbf {X} \mathbf {X} }\,$ مثبت-نیمه معین (PSD) است، به عبارتی $\mathbf {a} ^{T}\operatorname {K} _{\mathbf {X} \mathbf {X} }\mathbf {a} \geq 0\quad {\text{for all }}\mathbf {a} \in \mathbb {R} ^{n}$
3. $\operatorname {K} _{\mathbf {X} \mathbf {X} }\,$ متقارن است (symmetric)، یعنی $\operatorname {K} _{\mathbf {X} \mathbf {X} }^{\rm {T}}=\operatorname {K} _{\mathbf {X} \mathbf {X} }$
4. برای هر ثابت (غیر تصادفی) $m\times n$ ماتریس $\mathbf {A}$ و ثابت $m\times 1$ بردار $\mathbf {a}$ ، یک x وجود دارد که : $\operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \,\operatorname {var} (\mathbf {X} )\,\mathbf {A} ^{\rm {T}}$
5. اگر $\mathbf {Y}$ یک بردار تصادفی دیگر با ابعاد مشابه $\mathbf {X}$ است، سپس $\operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )$ جایی که $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ ماتریس کوواریانس متقابل برای $\mathbf {X}$ و $\mathbf {Y}$ است.

ماتریس های بلوک

معنی مشترک $\mathbf {\mu }$ و ماتریس کوواریانس مشترک $\mathbf {\Sigma }$ از $\mathbf {X}$ و $\mathbf {Y}$ را می توان به صورت بلوک نوشت:

$\mathbf {\mu } ={\begin{bmatrix}\mathbf {\mu _{X}} \\\mathbf {\mu _{Y}} \end{bmatrix}},\qquad \mathbf {\Sigma } ={\begin{bmatrix}\operatorname {K} _{\mathbf {XX} }&\operatorname {K} _{\mathbf {XY} }\\\operatorname {K} _{\mathbf {YX} }&\operatorname {K} _{\mathbf {YY} }\end{bmatrix}}$

جایی که $\operatorname {K} _{\mathbf {XX} }=\operatorname {var} (\mathbf {X} )$ ، $\operatorname {K} _{\mathbf {YY} }=\operatorname {var} (\mathbf {Y} )$ و $\operatorname {K} _{\mathbf {XY} }=\operatorname {K} _{\mathbf {YX} }^{\rm {T}}=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ .

همجنین $\operatorname {K} _{\mathbf {XX} }$ و $\operatorname {K} _{\mathbf {YY} }$ را می توان به عنوان ماتریس های واریانس توزیع های حاشیه ای (marginal) برای $\mathbf {X}$ و $\mathbf {Y}$ دانست.

اگر $\mathbf {X}$ و $\mathbf {Y}$ jointly normally distributed باشند،

$\mathbf {X} ,\mathbf {Y} \sim \ {\mathcal {N}}(\mathbf {\mu } ,\operatorname {\mathbf {\Sigma } } ),$

سپس توزیع شرطی برای $\mathbf {Y}$ به شرط $\mathbf {X}$ (Y|X) از رابطه زیر بدست می آید:

$\mathbf {Y} \mid \mathbf {X} \sim \ {\mathcal {N}}(\mathbf {\mu _{Y|X}} ,\operatorname {K} _{\mathbf {Y|X} }),$

امید ریاضی شرطی (conditional mean) تعریف شده است:

$\mathbf {\mu _{Y|X}} =\mathbf {\mu _{Y}} +\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\left(\mathbf {X} -\mathbf {\mu _{X}} \right)$

و واریانس شرطی

$\operatorname {K} _{\mathbf {Y|X} }=\operatorname {K} _{\mathbf {YY} }-\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }.$

ماتریس $\operatorname {K} _{\mathbf {YX} }\operatorname {K} _{\mathbf {XX} }^{-1}$ به عنوان ماتریس ضرایب رگرسیون شناخته می شود، در حالی که در جبر خطی $\operatorname {K} _{\mathbf {Y|X} }$ Schur complement $\operatorname {K} _{\mathbf {XX} }$ در $\mathbf {\Sigma }$ است.

ماتریس ضرایب رگرسیون اغلب ممکن است به شکل انتقال داده شود. $\operatorname {K} _{\mathbf {XX} }^{-1}\operatorname {K} _{\mathbf {XY} }$ مناسب برای ضرب یک بردار ردیفی از متغیرهای توضیحی $\mathbf {X} ^{\rm {T}}$ است به جای اینکه یک بردار ستونی $\mathbf {X}$ را از قبل ضرب کنیم. در این شکل آنها با ضرایب به دست آمده با معکوس کردن ماتریس معادلات نرمال حداقل مربعات معمولی (OLS) مطابقت دقیق دارند.

ماتریس کوواریانس جزئی

یک ماتریس کوواریانس با همه عناصر غیر صفر می گوید که همه متغیرهای تصادفی فردی به هم مرتبط هستند. این بدان معنی ست که متغیرها نه تنها مستقیماً همبستگی دارند، بلکه از طریق سایر متغیرها نیز حتی به طور غیرمستقیم همبستگی دارند. اغلب چنین همبستگی‌های غیرمستقیم و معمولی بی‌اهمیت و غیر کاربردی هستند. آنها را می توان با محاسبه ماتریس کوواریانس جزئی، که بخشی از ماتریس کوواریانس است که تنها بخش جالب همبستگی ها را نشان می دهد، سرکوب و خلا سلاح کرد.

اگر دو بردار از متغیرهای تصادفی $\mathbf {X}$ و $\mathbf {Y}$ از طریق بردار دیگری مثل $\mathbf {I}$ همبستگی دارند، همبستگی های اخیر در یک ماتریس سرکوب یا به اصطلاح suppressed می شوند

$\operatorname {K} _{\mathbf {XY\mid I} }=\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\operatorname {cov} (\mathbf {I} ,\mathbf {I} )^{-1}\operatorname {cov} (\mathbf {I} ,\mathbf {Y} ).$

ماتریس کوواریانس جزئی $\operatorname {K} _{\mathbf {XY\mid I} }$ به طور مؤثر ماتریس کوواریانس ساده $\operatorname {K} _{\mathbf {XY} }$ است که مثل اینکه متغیرهای تصادفی غیر جالب $\mathbf {I}$ هستند که ثابت نگه داشته شدند.

ماتریس کوواریانس به عنوان پارامتر یک توزیع

اگر بردار ستونی $\mathbf {X}$ از $n$ متغیرهای تصادفی احتمالاً همبسته به طور مشترک به طور نرمال یا به طور کلی بیضوی توزیع شوند ، سپس تابع چگالی احتمال آن $\operatorname {f} (\mathbf {X} )$ را می توان بر حسب ماتریس کوواریانس $\mathbf {\Sigma }$ به شرح زیر بیان کرد

$\operatorname {f} (\mathbf {X} )=(2\pi )^{-n/2}|\mathbf {\Sigma } |^{-1/2}\exp \left(-{\tfrac {1}{2}}\mathbf {(X-\mu )^{\rm {T}}\Sigma ^{-1}(X-\mu )} \right),$

جایی که $\mathbf {\mu =\operatorname {E} [X]}$ و $|\mathbf {\Sigma } |$ دترمینان $\mathbf {\Sigma }$ است.

ماتریس کوواریانس به عنوان یک عملگر خطی

با اعمال بر یک بردار، ماتریس کوواریانس یک ترکیب خطی c از متغیرهای تصادفی X را روی بردار کوواریانس با آن متغیرها ترسیم می کند: $\mathbf {c} ^{\rm {T}}\Sigma =\operatorname {cov} (\mathbf {c} ^{\rm {T}}\mathbf {X} ,\mathbf {X} )$ . با در نظر گرفتن یک فرم دو خطی ، کوواریانس بین دو ترکیب خطی به دست می‌آید: $\mathbf {d} ^{\rm {T}}\Sigma \mathbf {c} =\operatorname {cov} (\mathbf {d} ^{\rm {T}}\mathbf {X} ,\mathbf {c} ^{\rm {T}}\mathbf {X} )$ . در نتیجه واریانس یک ترکیب خطی $\mathbf {c} ^{\rm {T}}\Sigma \mathbf {c}$ است، که کوواریانس آن با خودش است.

به طور مشابه، ماتریس کوواریانس معکوس (شبه) یک محصول درونی ارائه می دهد $\langle c-\mu |\Sigma ^{+}|c-\mu \rangle$ ، که فاصله Mahalanobis را القا می کند، معیاری برای "عدم احتمال" c .

کدام ماتریس ها ماتریس کوواریانس هستند؟

طبق مفاهیم بالا فرض کنید $\mathbf {b}$ یک بردار $(p\times 1)$ است پس ارزش واقعی بردار زیر

$\operatorname {var} (\mathbf {b} ^{\rm {T}}\mathbf {X} )=\mathbf {b} ^{\rm {T}}\operatorname {var} (\mathbf {X} )\mathbf {b} ,\,$

همیشه باید غیرمنفی باشد، زیرا واریانس یک متغیر تصادفی با ارزش واقعی است، بنابراین یک ماتریس کوواریانس همیشه یک ماتریس مثبت-نیمه معین است.

استدلال فوق را می توان به صورت زیر گسترش داد:$${\begin{aligned}&w^{\rm {T}}\operatorname {E} \left[(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}\right]w=\operatorname {E} \left[w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])(\mathbf {X} -\operatorname {E} [\mathbf {X} ])^{\rm {T}}w\right]\\&=\operatorname {E} {\big [}{\big (}w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ]){\big )}^{2}{\big ]}\geq 0,\end{aligned}}$$که در آن آخرین نابرابری از مشاهده که $w^{\rm {T}}(\mathbf {X} -\operatorname {E} [\mathbf {X} ])$ اسکالر است.

برعکس، هر ماتریس نیمه معین مثبت متقارن یک ماتریس کوواریانس است. برای دیدن این، فرض کنید $M$ یک ماتریس $p\times p$ متقارن مثبت-نیمه معین است. حال از حالت بعد محدود قضیه طیفی (spectral theorem)، نتیجه می شود که $M$ دارای یک جذر متقارن غیر منفی است که می توان آن را با M ^{1/2 نشان داد} . اجازه دهید $\mathbf {X}$ هر گونه وکتور $p\times 1$ با ارزش بردار ستونی که ماتریس کوواریانس آن ماتریس هویت $p\times p$ است باشد.

$\operatorname {var} (\mathbf {M} ^{1/2}\mathbf {X} )=\mathbf {M} ^{1/2}\,\operatorname {var} (\mathbf {X} )\,\mathbf {M} ^{1/2}=\mathbf {M} .$

بردارهای تصادفی پیچیده

واریانس یک متغیر تصادفی مختلط با ارزش اسکالر به همراه امید ریاضی $\mu$ به طور معمول طبق قرارداد با استفاده از مزدوج مختلط تعریف می شود:

$\operatorname {var} (Z)=\operatorname {E} \left[(Z-\mu _{Z}){\overline {(Z-\mu _{Z})}}\right],$

که در آن مزدوج مختلط یک عدد مختلط است $z$ نشان داده شده است ${\overline {z}}$ ; بنابراین واریانس یک متغیر تصادفی مختلط یک عدد واقعی است.

اگر $\mathbf {Z} =(Z_{1},\ldots ,Z_{n})^{\mathrm {T} }$ یک بردار ستونی متشکل از متغیرهای تصادفی با اعداد مختلط باشد، سپس ترانهاده مزدوج (conjugate transpose)$\mathbf {Z} ^{\mathrm {H} }$ از هر دو جابجایی و مزدوج شدن تشکیل می شود. در عبارت زیر، حاصل ضرب یک بردار با جابه‌جایی مزدوج آن، یک ماتریس مربعی به نام ماتریس کوواریانس به عنوان انتظار آن ایجاد می‌کند:

$\operatorname {K} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,\mathbf {Z} ]=\operatorname {E} \left[(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {Z} -\mathbf {\mu _{Z}} )^{\mathrm {H} }\right]$ ،

ماتریس به‌دست‌آمده هرمیتی مثبت-نیمه معین (PSD Hermitian)، با اعداد حقیقی در مورب اصلی و اعداد مختلط خارج از قطر خواهد بود.

خواص

• ماتریس کوواریانس یک ماتریس هرمیتی(Hermitian matrix) است، یعنی $\operatorname {K} _{\mathbf {Z} \mathbf {Z} }^{\mathrm {H} }=\operatorname {K} _{\mathbf {Z} \mathbf {Z} }$ .
• عناصر قطری ماتریس کوواریانس واقعی هستند.

ماتریس شبه کوواریانس

برای بردارهای تصادفی پیچیده، نوع دیگری از گشتاور مرکزی دوم، ماتریس شبه کوواریانس pseudo-covariance matrix(همچنین ماتریس رابطه نامیده می شود) به صورت زیر تعریف می شود:

$\operatorname {J} _{\mathbf {Z} \mathbf {Z} }=\operatorname {cov} [\mathbf {Z} ,{\overline {\mathbf {Z} }}]=\operatorname {E} \left[(\mathbf {Z} -\mathbf {\mu _{Z}} )(\mathbf {Z} -\mathbf {\mu _{Z}} )^{\mathrm {T} }\right]$

برخلاف ماتریس کوواریانس تعریف شده در بالا، جابجایی hermitian با جابجایی در تعریف جایگزین می‌شود. عناصر مورب آن ممکن است دارای ارزش پیچیده باشند. این یک ماتریس متقارن پیچیده است.

برآورد کردن

اگر $\mathbf {M} _{\mathbf {X} }$ و $\mathbf {M} _{\mathbf {Y} }$ ماتریس های داده مرکزی به ابعاد $p\times n$ و $q\times n$ باشند، یعنی با n ستون مشاهدات ردیف های p و q از متغیرها که میانگین ردیف از آنها کم شده است، اگر میانگین ردیف ها از داده ها برآورد شد، ماتریس های کوواریانس نمونه $\mathbf {Q} _{\mathbf {XX} }$ و $\mathbf {Q} _{\mathbf {XY} }$ را می توان تعریف کرد:

$\mathbf {Q} _{\mathbf {XX} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\rm {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n-1}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\rm {T}}$

یا اگر میانگین ردیف از قبل شناخته شده بود،

$\mathbf {Q} _{\mathbf {XX} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {X} }^{\rm {T}},\qquad \mathbf {Q} _{\mathbf {XY} }={\frac {1}{n}}\mathbf {M} _{\mathbf {X} }\mathbf {M} _{\mathbf {Y} }^{\rm {T}}.$

این ماتریس‌های کوواریانس نمونه تجربی ساده‌ترین و اغلب مورد استفاده‌ترین تخمینگر ها برای ماتریس‌های کوواریانس هستند، اما تخمینگر های دیگری نیز وجود دارند، از جمله تخمینگر های منظم یا انقباضی که ممکن است ویژگی‌های بهتری داشته باشند.

برنامه های کاربردی

ماتریس کوواریانس ابزار مفیدی در زمینه های مختلف است. از آن می توان یک ماتریس تبدیل(transformation matrix) به دست آورد که به آن تبدیل سفیدکننده (whitening transformation) نیز گویند که به فرد اجازه می دهد تا داده ها را به طور کامل مرتبط کند. یا از دیدگاهی متفاوت، برای یافتن مبنایی بهینه برای نمایش داده ها به روشی فشرده (برای اثبات رسمی و خواص اضافی ماتریس های کوواریانس به ضریب ریلی مراجعه کنید). که PCA و (KL-transform) نامیده می شود.

ماتریس کوواریانس نقش کلیدی در اقتصاد مالی به ویژه در نظریه پرتفوی و قضیه تفکیک وجوه متقابل آن و در مدل قیمت گذاری دارایی های سرمایه ای ایفا می کند. ماتریس کوواریانس‌ها بین بازده دارایی‌های مختلف برای تعیین مقادیر نسبی دارایی‌های مختلف که سرمایه‌گذاران باید (در یک تحلیل هنجاری یا در یک تحلیل مثبت ) انتخاب کنند، تحت مفروضات خاصی تعیین و پیش بینی می شوند.

نقشه برداری کوواریانس

در نگاشت کوواریانس مقادیر $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ یا $\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )$ ماتریس به صورت یک نقشه دو بعدی رسم می شود. زمانی که بردارها $\mathbf {X}$ و $\mathbf {Y}$ توابع تصادفی گسسته هستند، نقشه روابط آماری بین مناطق مختلف توابع تصادفی را نشان می دهد. مناطق مستقل آماری توابع بر روی نقشه به صورت زمین مسطح سطح صفر نشان داده می شوند، در حالی که همبستگی های مثبت یا منفی به ترتیب به صورت تپه ها یا دره ها نشان داده می شوند.

در عمل بردارهای ستون $\mathbf {X} ,\mathbf {Y}$ ، و $\mathbf {I}$ به صورت تجربی به عنوان ردیف هایی از نمونه های nتایی به دست می آیند، به عنوان مثال

$[\mathbf {X} _{1},\mathbf {X} _{2},...\mathbf {X} _{n}]={\begin{bmatrix}X_{1}(t_{1})&X_{2}(t_{1})&\cdots &X_{n}(t_{1})\\\\X_{1}(t_{2})&X_{2}(t_{2})&\cdots &X_{n}(t_{2})\\\\\vdots &\vdots &\ddots &\vdots \\\\X_{1}(t_{m})&X_{2}(t_{m})&\cdots &X_{n}(t_{m})\end{bmatrix}},$

جایی که $X_{j}(t_{i})$ i امین مقدار گسسته در نمونه j تابع تصادفی $X(t)$ است. مقادیر مورد نیاز در فرمول کوواریانس با استفاده از میانگین نمونه تخمین زده می شود، به عنوان مثال

$\langle \mathbf {X} \rangle ={\frac {1}{n}}\sum _{j=1}^{n}\mathbf {X} _{j}$

و ماتریس کوواریانس توسط ماتریس کوواریانس نمونه تخمین زده می شود:

$\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )\approx \langle \mathbf {XY^{\rm {T}}} \rangle -\langle \mathbf {X} \rangle \langle \mathbf {Y} ^{\rm {T}}\rangle ,$

در جایی که براکت‌های زاویه‌ای نشان‌دهنده میانگین‌گیری نمونه هستند، به جز اینکه اصلاح بسل باید برای جلوگیری از سوگیری (BIAS) انجام شود . با استفاده از این تخمین ماتریس کوواریانس جزئی را می توان به صورت محاسبه کرد:

$\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )=\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )-\operatorname {cov} (\mathbf {X} ,\mathbf {I} )\left(\operatorname {cov} (\mathbf {I} ,\mathbf {I} )\backslash \operatorname {cov} (\mathbf {I} ,\mathbf {Y} )\right),$

که در آن علامت backslash عملگر تقسیم ماتریس سمت چپ (LMD)را نشان می دهد که شرط معکوس کردن یک ماتریس را دور می زند و در برخی بسته های محاسباتی مانند Matlab موجود است .

شکل 1: ساخت یک نقشه کوواریانس جزئی از _{مولکول های N 2} تحت انفجار کولن ناشی از لیزر الکترون آزاد. پانل های a و b دو عبارت ماتریس کوواریانس را ترسیم می کنند که در پانل c نشان داده شده است. پانل d همبستگی های حالت مشترک را از طریق نوسانات شدت لیزر ترسیم می کند. پانل e ماتریس کوواریانس جزئی را که برای نوسانات شدت تصحیح شده است، ترسیم می کند. پانل f نشان می دهد که تصحیح بیش از حد 10% نقشه را بهبود می بخشد و همبستگی یون-یون را به وضوح قابل مشاهده می کند. به دلیل حفظ تکانه، این همبستگی ها به صورت خطوط تقریباً عمود بر خط خود همبستگی (و مدلاسیون های دوره ای که توسط زنگ آشکارساز ایجاد می شوند) ظاهر می شوند.

شکل 1 نشان می دهد که چگونه یک نقشه کوواریانس جزئی بر روی نمونه ای از آزمایش انجام شده در لیزر الکترون آزاد FLASH در هامبورگ ساخته شده است. تابع تصادفی $X(t)$ طیف زمان پرواز یون‌های حاصل از انفجار کولنی از مولکول‌های نیتروژن است که توسط یک پالس لیزر یونیزه شده‌اند. از آنجایی که تنها چند صد مولکول در هر پالس لیزر یونیزه می شوند، طیف های تک شات به شدت در نوسان هستند. با این حال، جمع آوری به طور معمول $m=10^{4}$ چنین طیف هایی، $\mathbf {X} _{j}(t)$ ، و میانگین آنها را بیش از حد $j$ یک طیف صاف تولید می کند توجه کنید به $\langle \mathbf {X} (t)\rangle$ که با رنگ قرمز در پایین شکل 1 نشان داده شده است. طیف متوسط $\langle \mathbf {X} \rangle$ چندین یون نیتروژن را به شکل پیک هایی که توسط انرژی جنبشی آنها گسترش یافته است نشان می دهد، اما برای یافتن همبستگی بین مراحل یونیزاسیون و گشتاور یونی نیاز به محاسبه یک نقشه کوواریانس است.

در مثال شکل 1 طیف $\mathbf {X} _{j}(t)$ و $\mathbf {Y} _{j}(t)$ یکسان هستند، با این تفاوت که محدوده زمان پرواز $t$ متفاوت است. پنل a نشان می دهد $\langle \mathbf {XY^{\rm {T}}} \rangle$ ، پنل b را نشان می دهد $\langle \mathbf {X} \rangle \langle \mathbf {Y^{\rm {T}}} \rangle$ و پنل c تفاوت آنها را نشان می دهد که $\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )$ است (به تغییر در مقیاس رنگ توجه کنید). متأسفانه، این نقشه توسط همبستگی‌های غیر جالب و معمولی که توسط شدت لیزر در نوسان از عکسی به عکس دیگر ایجاد می‌شود، غرق شده است. برای سرکوب چنین همبستگی هایی شدت لیزر $I_{j}$ در هر شات ثبت می شود، قرار داده می شود و $\mathbf {I}$ و $\operatorname {pcov} (\mathbf {X} ,\mathbf {Y} \mid \mathbf {I} )$ به عنوان پانل های d و e محاسبه می شود. با این حال، سرکوب همبستگی‌های جالب ناقص است زیرا منابع دیگری از نوسانات حالت معمولی غیر از شدت لیزر وجود دارد و در اصل همه این منابع باید به صورت بردار $\mathbf {I}$ بررسی شوند. با این حال در عمل اغلب کافی است که اصلاح کوواریانس جزئی را جبران کنیم همانطور که پانل f نشان می دهد، جایی که همبستگی های جالب لحظه ای یون اکنون به وضوح به صورت خطوط مستقیم متمرکز بر مراحل یونیزاسیون نیتروژن اتمی قابل مشاهده است.

طیف سنجی دو بعدی مادون قرمز

طیف‌سنجی دو بعدی مادون قرمز از تجزیه و تحلیل همبستگی برای بدست آوردن طیف‌های دوبعدی فاز متراکم استفاده می کند. دو نسخه از این تحلیل وجود دارد: همزمان و ناهمزمان . از نظر ریاضی، اولی بر حسب ماتریس کوواریانس نمونه بیان می‌شود و این تکنیک معادل نگاشت کوواریانس است.

همچنین ببینید

• آمار چند متغیره
• ماتریس گرین
• تجزیه ویژه (eigendecomposition)
• فرم درجه دوم (آمار)
• تحلیل مولفه های اصلی PCA

 

منابع

• "Covariance matrix", Encyclopedia of Mathematics, EMS Press, 2001 [1994]
• Weisstein, Eric W. "Covariance Matrix". MathWorld.
•