Коефіцієнт кореляції Пірсона

У статистиці, коефіціє́нт кореля́ції Пі́рсона (ККП, англ. Pearson correlation coefficient, PCC) — це коефіцієнт кореляції, який вимірює лінійну кореляцію між двома наборами даних. Це відношення коваріації двох змінних до добутку їхніх стандартних відхилень; таким чином, це, по суті, унормована міра коваріації, така, що її результат завжди має значення між −1 та 1. Як і сама коваріація, ця міра може відображати лише лінійну кореляцію змінних, і не враховує багатьох інших типів взаємозв'язків і кореляцій. Як простий приклад, можна було би очікувати, що вік і зріст групи підлітків із середньої школи матимуть коефіцієнт кореляції Пірсона значно більший за 0, але менший за 1 (оскільки 1 означало би нереалістично ідеальну кореляцію).

Приклади діаграм розсіювання з різними значеннями коефіцієнта кореляції (ρ)

Декілька наборів точок (x, y), з коефіцієнтом кореляції між x та y для кожного набору. Кореляція відображує силу та напрямок лінійного зв'язку (верхній ряд), але не нахил цього зв'язку (середній), ані багато аспектів нелінійних зв'язків (нижній). Примітка: фігура в центрі має нахил 0, але в цьому випадку коефіцієнт кореляції невизначений, оскільки дисперсія Y нульова.

Назва й історія

Розробив його Карл Пірсон на основі спорідненої ідеї, запропонованої Френсісом Гальтоном у 1880-х роках, математичну формулу для якої вивів та опублікував Огюст Браве 1844 року. Назва цього коефіцієнта є одним із прикладів закону Стіглера.

Визначення

Коефіцієнт кореляції Пірсона це коваріація двох змінних, поділена на добуток їхніх стандартних відхилень. Вигляд цього визначення містить «момент добутку», тобто середнє значення (перший момент відносно початку координат) добутку змінних, скоригованих на їхні середні значення; тому в назві й використовують означення «моменту добутку».

Для сукупності

Коефіцієнт кореляції Пірсона, коли його застосовують до сукупності, зазвичай позначують грецькою літерою ρ (ро), й можуть називати коефіцієнтом кореляції сукупності (англ. population correlation coefficient) або коефіцієнтом кореляції Пірсона для сукупності (англ. population Pearson correlation coefficient). Для пари випадкових змінних $(X,Y)$ (наприклад, Зріст та Вага), формулою для ρ є

$$\rho _{X,Y}={\frac {\operatorname {cov} (X,Y)}{\sigma _{X}\sigma _{Y}}}$$

де

• $\operatorname {cov}$ — коваріація
• $\sigma _{X}$ — стандартне відхилення $X$
• $\sigma _{Y}$ — стандартне відхилення $Y$.

Формулу для $\operatorname {cov} (X,Y)$ можливо виразити через середнє значення та математичне сподівання. Оскільки

$\operatorname {cov} (X,Y)=\operatorname {\mathbb {E} } [(X-\mu _{X})(Y-\mu _{Y})],$

формулу для $\rho$ також можливо записати як

$$\rho _{X,Y}={\frac {\operatorname {\mathbb {E} } [(X-\mu _{X})(Y-\mu _{Y})]}{\sigma _{X}\sigma _{Y}}}$$

де

• $\sigma _{Y}$ та $\sigma _{X}$ визначено як вище
• $\mu _{X}$ — середнє значення $X$
• $\mu _{Y}$ — середнє значення $Y$
• $\operatorname {\mathbb {E} }$ — математичне сподівання.

Формулу для $\rho$ можливо виразити через нецентровані моменти. Оскільки

${\begin{aligned}\mu _{X}={}&\operatorname {\mathbb {E} } [\,X\,]\\\mu _{Y}={}&\operatorname {\mathbb {E} } [\,Y\,]\\\sigma _{X}^{2}={}&\operatorname {\mathbb {E} } \left[\,\left(X-\operatorname {\mathbb {E} } [X]\right)^{2}\,\right]=\operatorname {\mathbb {E} } \left[\,X^{2}\,\right]-\left(\operatorname {\mathbb {E} } [\,X\,]\right)^{2}\\\sigma _{Y}^{2}={}&\operatorname {\mathbb {E} } \left[\,\left(Y-\operatorname {\mathbb {E} } [Y]\right)^{2}\,\right]=\operatorname {\mathbb {E} } \left[\,Y^{2}\,\right]-\left(\,\operatorname {\mathbb {E} } [\,Y\,]\right)^{2}\\&\operatorname {\mathbb {E} } [\,\left(X-\mu _{X}\right)\left(Y-\mu _{Y}\right)\,]=\operatorname {\mathbb {E} } [\,\left(X-\operatorname {\mathbb {E} } [\,X\,]\right)\left(Y-\operatorname {\mathbb {E} } [\,Y\,]\right)\,]=\operatorname {\mathbb {E} } [\,X\,Y\,]-\operatorname {\mathbb {E} } [\,X\,]\operatorname {\mathbb {E} } [\,Y\,]\,,\end{aligned}}$

формулу для $\rho$ також можливо записати як $$\rho _{X,Y}={\frac {\operatorname {\mathbb {E} } [\,X\,Y\,]-\operatorname {\mathbb {E} } [\,X\,]\operatorname {\mathbb {E} } [\,Y\,]}{{\sqrt {\operatorname {\mathbb {E} } \left[\,X^{2}\,\right]-\left(\operatorname {\mathbb {E} } [\,X\,]\right)^{2}}}~{\sqrt {\operatorname {\mathbb {E} } \left[\,Y^{2}\,\right]-\left(\operatorname {\mathbb {E} } [\,Y\,]\right)^{2}}}}}.$$

Для вибірки

Коефіцієнт кореляції Пірсона, коли його застосовують до вибірки, зазвичай позначують через $r_{xy}$ і можуть називати коефіцієнтом кореляції вибірки (англ. sample correlation coefficient) або коефіцієнтом кореляції Пірсона для вибірки (англ. sample Pearson correlation coefficient). Формулу для $r_{xy}$ можливо отримати, підставивши оцінки коваріацій та дисперсій на основі вибірки до наведеної вище формули. Для парних даних $\left\{(x_{1},y_{1}),\ldots ,(x_{n},y_{n})\right\}$, що складаються з $n$ пар, $r_{xy}$ визначають як

$$r_{xy}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{{\sqrt {\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}{\sqrt {\sum _{i=1}^{n}(y_{i}-{\bar {y}})^{2}}}}}$$

де

• $n$ — розмір вибірки
• $x_{i},y_{i}$ — окремі точки вибірки з індексом i
• ${\textstyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$ (середнє значення вибірки); й аналогічно для ${\bar {y}}$.

Перегрупування дає таку формулу для $r_{xy}$:

$r_{xy}={\frac {n\sum x_{i}y_{i}-\sum x_{i}\sum y_{i}}{{\sqrt {n\sum x_{i}^{2}-\left(\sum x_{i}\right)^{2}}}~{\sqrt {n\sum y_{i}^{2}-\left(\sum y_{i}\right)^{2}}}}},$

де $n,x_{i},y_{i}$ визначено як вище.

Ця формула пропонує зручний однопрохідний алгоритм обчислення кореляцій вибірок, хоча, залежно від задіяних чисел, вона іноді може бути чисельно нестійкою.

Подальше перегрупування дає таку формулу для $r_{xy}$:

$r_{xy}={\frac {\sum _{i}x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{{\sqrt {\sum _{i}x_{i}^{2}-n{\bar {x}}^{2}}}~{\sqrt {\sum _{i}y_{i}^{2}-n{\bar {y}}^{2}}}}},$

де $n,x_{i},y_{i},{\bar {x}},{\bar {y}}$ визначено як вище.

Еквівалентний вираз дає формулу для $r_{xy}$ як середнє добутків стандартних оцінок наступним чином:

$r_{xy}={\frac {1}{n-1}}\sum _{i=1}^{n}\left({\frac {x_{i}-{\bar {x}}}{s_{x}}}\right)\left({\frac {y_{i}-{\bar {y}}}{s_{y}}}\right)$

де

• $n,x_{i},y_{i},{\bar {x}},{\bar {y}}$ визначено як вище, а $s_{x},s_{y}$ визначено нижче
• ${\textstyle \left({\frac {x_{i}-{\bar {x}}}{s_{x}}}\right)}$ — стандартна оцінка (й аналогічно для стандартної оцінки $y$).

Доступні й альтернативні формули для $r_{xy}$. Наприклад, можливо використовувати наступну формулу для $r_{xy}$:

$r_{xy}={\frac {\sum x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{(n-1)s_{x}s_{y}}}$

де

• $n,x_{i},y_{i},{\bar {x}},{\bar {y}}$ визначено як вище, а
• ${\textstyle s_{x}={\sqrt {{\frac {1}{n-1}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$ (ви́біркове стандартне відхилення); й аналогічно для $s_{y}$.

Для спільно гауссових розподілів

Якщо $(X,Y)$ спільно гауссові, з нульовим середнім значенням і дисперсією $\Sigma$, то $\Sigma ={\begin{bmatrix}\sigma _{X}^{2}&\rho _{X,Y}\sigma _{X}\sigma _{Y}\\\rho _{X,Y}\sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\\\end{bmatrix}}$.

Практичні проблеми

В умовах сильного шуму виділяння коефіцієнта кореляції між двома наборами стохастичних змінних нетривіальне, особливо коли канонічно-кореляційний аналіз показує зниження значень кореляції через значний внесок шуму. Узагальнення цього підходу наведено в іншому місці.

У випадку відсутності даних, Ґаррен вивів оцінювання максимальною правдоподібністю.

Деякі розподіли (наприклад, стійкі розподіли, відмінні від нормального) не мають визначеної дисперсії.

Математичні властивості

Значення коефіцієнта кореляції Пірсона як для вибірки, так і для сукупності перебувають на або між −1 та 1. Кореляції, які дорівнюють +1 чи −1, відповідають точкам даних, що лежать точно на прямій (у випадку коефіцієнта кореляції вибірки), або двовимірному розподілу, носій якого лежить на прямій (у випадку коефіцієнта кореляції сукупності). Коефіцієнт кореляції Пірсона симетричний: corr(X,Y) = corr(Y,X).

Ключовою математичною властивістю коефіцієнта кореляції Пірсона є його інваріантність щодо окремих змін розташування та масштабу в обох змінних. Тобто ми можемо перетворити X на a + bX, і перетворити Y на c + dY, де a, b, c, та d сталі, а b, d > 0, не змінивши коефіцієнта кореляції. (Це справджується як для коефіцієнта кореляції сукупності, так і для коефіцієнта кореляції вибірки.) Загальніші лінійні перетворення кореляцію змінюють: щодо того, як це застосовувати, див. § Декореляція n випадкових змінних.

Тлумачення

Коефіцієнт кореляції набуває значень з −1 по 1. Абсолютне рівне значення 1 означає, що лінійне рівняння описує взаємозв'язок між X та Y ідеально, з усіма точками даних на одній прямій. Знак кореляції визначається нахилом регресії: значення +1 означає, що всі точки даних лежать на прямій, за якої Y зростає зі зростанням X, і навпаки для −1. Значення 0 означає, що між змінними немає лінійної залежності.

Загальніше, (X_i − X)(Y_i − Y) додатний тоді й лише тоді, коли X_i та Y_i перебувають з одного боку від своїх середніх значень. Відтак, коефіцієнт кореляції додатний, коли X_i та Y_i схильні бути одночасно більшими або одночасно меншими за свої середні значення. Коефіцієнт кореляції від'ємний (антикореляція), коли X_i та Y_i схильні перебувати по різні боки від своїх середніх значень. Більше того, що сильніша будь-яка з цих тенденцій, то більше абсолютне значення коефіцієнта кореляції.

Роджерс та Найсвандер перелічили тринадцять способів тлумачення кореляції або простих функцій від неї:

• Функція від сирих оцінок та середніх значень
• Стандартизована коваріація
• Стандартизований нахил лінії регресії
• Геометричне середнє двох нахилів регресії
• Квадратний корінь відношення двох дисперсій
• Середній векторний добуток стандартизованих змінних
• Функція кута між двома стандартизованими регресійними лініями
• Функція кута між двома векторами змінних
• Перемасштабована дисперсія різниці стандартизованих оцінок
• Оцінка за правилом повітряної кульки
• Пов'язана з двовимірними еліпсами ізоконцентрації
• Функція статистичного критерію із запланованих експериментів
• Відношення двох середніх

Геометричне тлумачення

Лінії регресії для y = g_X(x) [червона] та x = g_Y(y) [синя]

Для нецентрованих даних існує зв'язок між коефіцієнтом кореляції та кутом φ між двома регресійними лініями, y = g_X(x) та x = g_Y(y), отриманими в результаті регресії y на x та x на y відповідно. (Тут φ відкладають проти годинникової стрілки в першому квадранті, утвореному навколо точки перетину ліній, якщо r > 0, чи проти годинникової стрілки з четвертого до другого квадранту, якщо r < 0.) Можливо показати, що якщо стандартні відхилення рівні, то r = sec φ − tg φ, де sec та tg — тригонометричні функції.

Для центрованих даних (тобто даних, зміщених на середні значення їхніх відповідних змінних, таким чином, щоби середнє значення кожної змінної було нульовим) коефіцієнт кореляції також можливо розглядати як косинус кута θ між двома спостережуваними векторами в N-вимірному просторі (для N спостережень кожної змінної).

Коефіцієнти як нецентрованої (не пірсоново сумісної), так і центрованої кореляції можливо визначати для набору даних. Наприклад, припустімо, що виявлено, що п'ять країн мають валовий національний продукт 1, 2, 3, 5 та 8 мільярдів доларів відповідно. Припустімо, що ці ж п'ять країн (у тому ж порядку) мають 11 %, 12 %, 13 %, 15 % та 18 % бідності. Тоді нехай x та y будуть впорядкованими 5-елементними векторами, що містять наведені вище дані: x = (1, 2, 3, 5, 8) та y = (0.11, 0.12, 0.13, 0.15, 0.18).

За звичайною процедурою визначення кута θ між двома векторами (див. скалярний добуток) коефіцієнт нецентрованої кореляції становить

$\cos \theta ={\frac {\mathbf {x} \cdot \mathbf {y} }{\left|\mathbf {x} \right|\left|\mathbf {y} \right|}}={\frac {2.93}{{\sqrt {103}}{\sqrt {0.0983}}}}=0.920814711.$

Цей коефіцієнт нецентрованої кореляції ідентичний косинусній подібності. Наведені вище дані було свідомо обрано так, щоби вони бути ідеально корельованими: y = 0.10 + 0.01 x. Тому коефіцієнт кореляції Пірсона мусить дорівнювати рівно одиниці. Центрування даних (зміщення x на ℰ(x) = 3.8 та y на ℰ(y) = 0.138) дає x = (−2.8, −1.8, −0.8, 1.2, 4.2) та y = (−0.028, −0.018, −0.008, 0.012, 0.042), звідки

$\cos \theta ={\frac {\mathbf {x} \cdot \mathbf {y} }{\left|\mathbf {x} \right|\left|\mathbf {y} \right|}}={\frac {0.308}{{\sqrt {30.8}}{\sqrt {0.00308}}}}=1=\rho _{xy},$

як і очікувалося.

Тлумачення розміру кореляції

Цей рисунок дає уявлення про те, як корисність кореляції Пірсона для передбачування значень змінюється залежно від її величини. Для спільно нормальних X, Y з кореляцією ρ, $1-{\sqrt {1-\rho ^{2}}}$ (зображений тут як функція ρ) це коефіцієнт, на який може бути зменшено заданий інтервал передбачення для Y з урахуванням відповідного значення X. Наприклад, якщо ρ = 0.5, то 95 %-вий інтервал передбачення Y|X буде приблизно на 13 % меншим за 95 %-вий інтервал передбачення Y.

Декілька авторів запропонували настанови для тлумачення коефіцієнта кореляції. Проте всі такі критерії дещо довільні. Тлумачення коефіцієнта кореляції залежить від контексту та цілей. Кореляція 0,8 може бути дуже низькою, якщо йдеться про перевірку фізичного закону з використанням високоякісних інструментів, але може вважатися дуже високою в соціальних науках, де внесок від ускладнювальних чинників може бути більшим.

Висновування

Статистичне висновування на основі коефіцієнті кореляції Пірсона часто зосереджується на одній з наступних двох цілей:

• Одна мета полягає в перевірці нульової гіпотези, що істинний коефіцієнт кореляції ρ дорівнює 0, на основі значення коефіцієнта кореляції вибірки r.
• Інша мета полягає в тому, щоби вивести довірчий інтервал, який при повторюваному вибиранні має задану ймовірність містити ρ.

Методи досягнення однієї або обох цих цілей обговорюються нижче.

Використання перестановкового критерію

Перстановкові критерії забезпечують прямий підхід до здійснення перевірок гіпотез і побудови довірчих інтервалів. Перестановковий критерій для коефіцієнта кореляції Пірсона містить наступні два кроки:

1. Використовуючи первинні паровані дані (x_i, y_i), випадково визначити пари заново, створивши новий набір даних (x_i, y_i′), де i′ — перестановка множини {1,…,n}. Перестановку i′ вибирають випадково, з рівними ймовірностями для всіх n! можливих перестановок. Це рівнозначне вибиранню i′ випадково без повторів з множини {1, …, n}. У натяжці, тісно пов'язаному підході, i та i′ є рівними й вибираються з {1, …, n} з повторами;
2. Побудувати коефіцієнт кореляції r з цих увипадковлених даних.

Щоби виконати перевірку перестановкового критерію, повторіть кроки (1) та (2) велику кількість разів. p-значення для перестановкового критерію — це частка значень r, породжених на кроці (2), більших за коефіцієнт кореляції Пірсона, обчислений із первинних даних. Тут «більший» може означати як більший за абсолютним значенням, так і більший за значенням зі знаком, залежно від того, чи потрібен двобічний, чи однобічний критерій.

Використання натяжки

Для побудови довірчих інтервалів для коефіцієнта кореляції Пірсона можливо використовувати натяжку. В «непараметричній» натяжці n пар (x_i, y_i) перевибирають зі спостережуваного набору з n пар «з повторами», й коефіцієнт кореляції r обчислюють на основі цих перевибраних даних. Цей процес повторюють велику кількість разів, і цей емпіричний розподіл перевибраних значень r використовують для наближення вибіркового розподілу цієї статистики. 95 %-вий довірчий інтервал для ρ можливо визначити як інтервал, що простягається від 2,5-го до 97,5-го перцентиля перевибраних значень r.

Стандартна похибка

Якщо $x$ та $y$ — випадкові змінні, то стандартною похибкою, пов'язаною з кореляцією у випадку нульової гіпотези, є

$\sigma _{r}={\sqrt {\frac {1-r^{2}}{n-2}}}$

де $r$ — кореляція (за припущення r≈0), а $n$ — розмір вибірки.

Перевірка з використанням розподілу Ст'юдента

Критичні значення коефіцієнта кореляції Пірсона, які має бути перевищено, щоби вважати його значно ненульовим на рівні 0,05.

Для пар з некорельованого двовимірного нормального розподілу, вибірковий розподіл ст'юдентованого коефіцієнта кореляції Пірсона дотримується t-розподілу Ст'юдента зі ступенями вільності n − 2. Зокрема, якщо змінні в основі мають двовимірний нормальний розподіл, то змінна

$t={\frac {r}{\sigma _{r}}}=r{\sqrt {\frac {n-2}{1-r^{2}}}}$

у випадку нульової гіпотези (нульової кореляції) має розподіл Ст'юдента. Це приблизно виконується у випадку не нормальних спостережуваних значень, якщо розміри вибірок достатньо великі. Для визначення критичних значень для r потрібна обернена функція:

$r={\frac {t}{\sqrt {n-2+t^{2}}}}.$

Також можливо використовувати асимптотичні підходи для великих вибірок.

Інша рання стаття пропонує графіки та таблиці для загальних значень ρ, для малих розмірів вибірки, та обговорює підходи до обчислень.

У випадку, якщо змінні в основі не нормальні, вибірковий розподіл коефіцієнта кореляції Пірсона дотримується розподілу Ст'юдента, але ступені вільності знижуються.

Використання точного розподілу

Для даних, що слідують двовимірному нормальному розподілу, точною функцією густини f(r) для вибіркового коефіцієнта кореляції r нормального двовимірного розподілу є

$f(r)={\frac {(n-2)\,\mathrm {\Gamma } (n-1)\left(1-\rho ^{2}\right)^{\frac {n-1}{2}}\left(1-r^{2}\right)^{\frac {n-4}{2}}}{{\sqrt {2\pi }}\,\operatorname {\Gamma } {\mathord {\left(n-{\tfrac {1}{2}}\right)}}(1-\rho r)^{n-{\frac {3}{2}}}}}{}_{2}\mathrm {F} _{1}{\mathord {\left({\tfrac {1}{2}},{\tfrac {1}{2}};{\tfrac {1}{2}}(2n-1);{\tfrac {1}{2}}(\rho r+1)\right)}}$

де $\Gamma$ — це гамма-функція, а ${}_{2}\mathrm {F} _{1}(a,b;c;z)$ — гауссова гіпергеометрична функція.

В окремому випадку, коли $\rho =0$ (нульова кореляція в сукупності), точну функцію густини f(r) можливо записати як

$f(r)={\frac {\left({\frac {1}{1-r^{2}}}\right)^{-{\frac {n-1}{2}}}}{{\sqrt {n-2}}\,\operatorname {\mathrm {B} } {\mathord {\left({\tfrac {1}{2}},{\tfrac {n-2}{2}}\right)}}}},$

де $\mathrm {B}$ — це бета-функція, що є одним зі способів запису густини t-розподілу Ст'юдента для ст'юдентованого вибіркового коефіцієнта кореляції, як зазначено вище.

Використання точного довірчого розподілу

Довірчі інтервали та критерії можливо розраховувати з довірчого розподілу. Точна довірча густина для ρ становить

$$\pi (\rho \mid r)={\frac {\nu (\nu -1)\Gamma (\nu -1)}{{\sqrt {2\pi }}\Gamma \left(\nu +{\frac {1}{2}}\right)}}\left(1-r^{2}\right)^{\frac {\nu -1}{2}}\cdot \left(1-\rho ^{2}\right)^{\frac {\nu -2}{2}}\cdot \left(1-r\rho \right)^{\frac {1-2\nu }{2}}\operatorname {F} \left({\tfrac {3}{2}},-{\tfrac {1}{2}};\nu +{\tfrac {1}{2}};{\tfrac {1+r\rho }{2}}\right)$$

де $\operatorname {F}$ — це гауссова гіпергеометрична функція, а $\nu =n-1>1$.

Використання перетворення Фішера

На практиці обчислення довірчих інтервалів та перевірки гіпотез щодо ρ зазвичай виконують за допомогою перетворення Фішера, $F$:

$F(r)\equiv {\tfrac {1}{2}}\,\ln \left({\frac {1+r}{1-r}}\right)=\operatorname {arth} (r)$

F(r) приблизно дотримується нормальному розподілу, де

${\text{середнє}}=F(\rho )=\operatorname {arth} (\rho ),$    а стандартна похибка $={\text{SE}}={\frac {1}{\sqrt {n-3}}},$

де n — розмір вибірки. Похибка наближення найнижча для великого розміру вибірки $n$ і малих значень $r$ та $\rho _{0}$, і збільшується в іншому випадку.

За використання цього наближення z-оцінка становить

$z={\frac {x-{\text{середнє}}}{\text{SE}}}=[F(r)-F(\rho _{0})]{\sqrt {n-3}}$

за нульовою гіпотезою, що $\rho =\rho _{0}$, за припущення, що пари вибірки незалежні й однаково розподілені та дотримуються двовимірного нормального розподілу. Відтак, можливо отримати наближене p-значення з таблиці нормальної ймовірності. Наприклад, якщо спостерігається z = 2.2 й потрібне двобічне p-значення для перевірки нульової гіпотези, що $\rho =0$, то p-значення становитиме 2 Φ(−2.2) = 0.028, де Φ — це стандартна нормальна функція розподілу.

Щоб отримати довірчий інтервал для ρ, спочатку обчислімо довірчий інтервал для F($\rho$):

$100(1-\alpha )\%{\text{CI}}:\operatorname {arth} (\rho )\in [\operatorname {arth} (r)\pm z_{\alpha /2}{\text{SE}}]$

Обернене перетворення Фішера повертає інтервал до шкали кореляції.

$100(1-\alpha )\%{\text{CI}}:\rho \in [\operatorname {th} (\operatorname {arth} (r)-z_{\alpha /2}{\text{SE}}),\operatorname {th} (\operatorname {arth} (r)+z_{\alpha /2}{\text{SE}})]$

Наприклад, припустімо, що ми спостерігаємо r = 0.7 з розміром вибірки n=50, і хочемо отримати 95 %-вий довірчий інтервал для ρ. Перетворене значення становить ${\textstyle \operatorname {arth} \left(r\right)=0.8673}$, тому довірчий інтервал у перетвореній шкалі становить $0.8673\pm {\frac {1.96}{\sqrt {47}}}$, або (0.5814, 1.1532). Перетворення назад до шкали кореляції дає (0.5237, 0.8188).

В регресійному аналізі методом найменших квадратів

Квадрат коефіцієнта кореляції вибірки зазвичай позначують через r², він є окремим випадком коефіцієнта детермінації. У цьому випадку він оцінює частку дисперсії Y, яку пояснює X через просту лінійну регресію. Отже, якщо є спостережуваний набір даних $Y_{1},\dots ,Y_{n}$ та допасований набір даних ${\hat {Y}}_{1},\dots ,{\hat {Y}}_{n}$, то як відправну точку повну дисперсію Y_i навколо їхнього середнього значення можливо розкласти як

$\sum _{i}(Y_{i}-{\bar {Y}})^{2}=\sum _{i}(Y_{i}-{\hat {Y}}_{i})^{2}+\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2},$

де ${\hat {Y}}_{i}$ — це допасовані значення з регресійного аналізу. Це можливо переформулювати як

$1={\frac {\sum _{i}(Y_{i}-{\hat {Y}}_{i})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}+{\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}.$

Обидва доданки вище — це частка дисперсії в Y, яку пояснює X (правий), та яку X не пояснює (лівий).

Далі, ми застосовуємо властивість регресійних моделей найменших квадратів, що вибіркова коваріація між ${\hat {Y}}_{i}$ та $Y_{i}-{\hat {Y}}_{i}$ нульова. Тож вибірковий коефіцієнт кореляції між спостережуваними та допасованими значеннями відгуку в регресії можливо записати (обчислення виконується виходячи з очікування гауссової статистики) як

${\begin{aligned}r(Y,{\hat {Y}})&={\frac {\sum _{i}(Y_{i}-{\bar {Y}})({\hat {Y}}_{i}-{\bar {Y}})}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\[6pt]&={\frac {\sum _{i}(Y_{i}-{\hat {Y}}_{i}+{\hat {Y}}_{i}-{\bar {Y}})({\hat {Y}}_{i}-{\bar {Y}})}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\[6pt]&={\frac {\sum _{i}[(Y_{i}-{\hat {Y}}_{i})({\hat {Y}}_{i}-{\bar {Y}})+({\hat {Y}}_{i}-{\bar {Y}})^{2}]}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\[6pt]&={\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sqrt {\sum _{i}(Y_{i}-{\bar {Y}})^{2}\cdot \sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}}}\\[6pt]&={\sqrt {\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}}.\end{aligned}}$

Тож

$r(Y,{\hat {Y}})^{2}={\frac {\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}}{\sum _{i}(Y_{i}-{\bar {Y}})^{2}}}$

де $r(Y,{\hat {Y}})^{2}$ — частка дисперсії Y, пояснювана лінійною функцією X.

У наведеному вище виведенні той факт, що

$\sum _{i}(Y_{i}-{\hat {Y}}_{i})({\hat {Y}}_{i}-{\bar {Y}})=0$

можливо довести, відмітивши, що частинні похідні залишкової суми квадратів (RSS) за β₀ та β₁ у моделі найменших квадратів дорівнюють 0, де

${\text{RSS}}=\sum _{i}(Y_{i}-{\hat {Y}}_{i})^{2}$.

Кінець кінцем, рівняння можливо записати як

$r(Y,{\hat {Y}})^{2}={\frac {{\text{SS}}_{\text{reg}}}{{\text{SS}}_{\text{tot}}}}$

де

• ${\text{SS}}_{\text{reg}}=\sum _{i}({\hat {Y}}_{i}-{\bar {Y}})^{2}$
• ${\text{SS}}_{\text{tot}}=\sum _{i}(Y_{i}-{\bar {Y}})^{2}$.

Символ ${\text{SS}}_{\text{reg}}$ називають сумою квадратів регресії, також відомою як пояснена сума квадратів, а ${\text{SS}}_{\text{tot}}$ — повна сума квадратів (пропорційна дисперсії даних).

Чутливість до розподілу даних

Існування

Коефіцієнт кореляції Пірсона для сукупності визначено через моменти, й тому він існує для будь-якого двовимірного розподілу ймовірності, для якого визначені коваріація сукупності та відособлені дисперсії сукупності, й вони ненульові. Деякі розподіли ймовірності, такі як розподіл Коші, мають невизначену дисперсію, й відтак якщо X або Y відповідають такому розподілові, то ρ невизначений. У деяких практичних застосуваннях, дані в яких підозрюють на відповідність розподілові з повільно спадним хвостом, це важливий аспект. Проте, існування коефіцієнта кореляції зазвичай не проблема; наприклад, якщо діапазон розподілу обмежений, ρ завжди визначений.

Розмір вибірки

• Якщо розмір вибірки помірний або великий і сукупність нормальна, то у випадку двовимірного нормального розподілу вибірковий коефіцієнт кореляції є максимально-правдоподібнісною оцінкою коефіцієнта кореляції сукупності, асимптотично незміщеною та ефективною, що приблизно означає неможливість побудувати оцінку, точнішу за вибірковий коефіцієнт кореляції.
• Якщо розмір вибірки великий і сукупність не нормальна, то вибірковий коефіцієнт кореляції залишається приблизно незміщеним, але може не бути ефективним.
• Якщо розмір вибірки великий, то вибірковий коефіцієнт кореляції є слушною оцінкою коефіцієнта кореляції сукупності, за умови, що середні значення вибірки, дисперсії та коваріація слушні (що гарантовано, коли можливо застосувати закон великих чисел).
• Якщо розмір вибірки малий, то вибірковий коефіцієнт кореляції r не є незміщеною оцінкою ρ. Замість цього слід використовувати скоригований коефіцієнт кореляції: визначення див. далі у цій статті.
• Кореляції можуть бути різними для незбалансованих дихотомних даних, коли у вибірці є помилка дисперсії.

Робастність

Як і багато інших часто використовуваних статистик, вибіркова статистика r не робастна, тож за наявності викидів її значення може бути оманливим. Зокрема, коефіцієнт кореляції моменту добутку не робастний ані щодо розподілу, ані щодо викидів (див. Робастність у статистиці § Поняття робастності). Перевірка діаграми розсіяння між X та Y зазвичай виявляє ситуацію, коли робастність може бути проблемою, і в таких випадках може бути рекомендовано використовувати робастну міру пов'язаності. Проте слід зазначити, що хоч більшість робастних оцінювачів пов'язаності і вимірюють якимось чином статистичну залежність, вони зазвичай не інтерпретовні тою ж мірою, що й коефіцієнт кореляції Пірсона.

Статистичне висновування для коефіцієнта кореляції Пірсона чутливе до розподілу даних. Точні критерії та асимптотичні критерії на основі перетворення Фішера можливо застосовувати, якщо дані розподілені приблизно нормально, але в іншому разі вони можуть бути оманливими. У деяких ситуаціях можливо використовувати натяжку для створення довірчих інтервалів, а перестановкові критерії — для здійснення перевірки гіпотез. Ці непараметричні підходи можуть давати змістовніші результати в деяких ситуаціях, коли двовимірна нормальність не виконується. Проте стандартні версії цих підходів покладаються на взаємозамінність даних, що означає, що не існує впорядкування чи групування аналізованих пар даних, які могли би вплинути на поведінку оцінки кореляції.

Стратифікований аналіз — це один зі способів або пристосування до відсутності двовимірної нормальності, або для відокремлення кореляції, що випливає з одного чинника при контролі над іншим. Якщо W подає приналежність до кластеру або інший чинник, який хочеться контролювати, можливо стратифікувати дані на основі значення W, а потім обчислити коефіцієнт кореляції в межах кожної страти. Оцінки на рівні страт потім можливо об'єднати для оцінки загальної кореляції при контролі над W.

Варіанти

Існують різні варіації коефіцієнта кореляції, які можливо обчислювати для різних цілей. Ось декілька прикладів.

Скоригований коефіцієнт кореляції

Вибірковий коефіцієнт кореляції r не є незміщеною оцінкою ρ. Для даних, що дотримуються двовимірному нормальному розподілу, математичне сподівання E[r] вибіркового коефіцієнта кореляції r нормальної двовимірності становить

$\operatorname {\mathbb {E} } \left[r\right]=\rho -{\frac {\rho \left(1-\rho ^{2}\right)}{2n}}+\cdots ,\quad$ тож r є зміщеним оцінювачем $\rho .$

Унікальний мінімально-дисперсійний незміщений оцінювач (англ. unique minimum variance unbiased estimator) r_adj задається як

$r_{\text{adj}}=r\,\mathbf {_{2}F_{1}} \left({\frac {1}{2}},{\frac {1}{2}};{\frac {n-1}{2}};1-r^{2}\right),$

(1)

де:

• $r,n$ визначено як вище,
• $\mathbf {_{2}F_{1}} (a,b;c;z)$ — гауссова гіпергеометрична функція.

Приблизно незміщений оцінювач (англ. approximately unbiased estimator) r_adj можливо отримати^{[джерело?]} шляхом утинання E[r] та розв'язання цього утятого рівняння:

$r=\operatorname {\mathbb {E} } [r]\approx r_{\text{adj}}-{\frac {r_{\text{adj}}\left(1-r_{\text{adj}}^{2}\right)}{2n}}.$

(2)

Приблизним розв'язком^{[джерело?]} рівняння (2) є

$r_{\text{adj}}\approx r\left[1+{\frac {1-r^{2}}{2n}}\right],$

(3)

де у (3)

• $r,n$ визначено як вище,
• r_adj — субоптимальний оцінювач,^{[джерело?][прояснити: ком.]}
• r_adj також можливо отримати максимізуванням log(f(r)),
• r_adj має мінімальну дисперсію за великих значень n,
• r_adj має зміщення порядку 1⁄(n − 1).

Іншим запропонованим скоригованим коефіцієнтом кореляції (англ. adjusted correlation coefficient) є^{[джерело?]}

$r_{\text{adj}}={\sqrt {1-{\frac {(1-r^{2})(n-1)}{(n-2)}}}}.$

r_adj ≈ r за великих значень n.

Коефіцієнт зваженої кореляції

Покладімо, що спостереження, які потрібно скорелювати, мають різні ступені важливості, які можливо виразити ваговим вектором w. Щоб обчислити кореляцію між векторами x та y з ваговим вектором w (всі довжиною n),

• Зважене середнє: $$\operatorname {m} (x;w)={\frac {\sum _{i}w_{i}x_{i}}{\sum _{i}w_{i}}}.$$
• Зважена коваріація: $$\operatorname {cov} (x,y;w)={\frac {\sum _{i}w_{i}\cdot (x_{i}-\operatorname {m} (x;w))(y_{i}-\operatorname {m} (y;w))}{\sum _{i}w_{i}}}.$$
• Зважена кореляція (англ. weighted correlation): $$\operatorname {corr} (x,y;w)={\frac {\operatorname {cov} (x,y;w)}{\sqrt {\operatorname {cov} (x,x;w)\operatorname {cov} (y,y;w)}}}.$$

Віддзеркалювальний коефіцієнт кореляції

Віддзеркалювальна кореляція (англ. reflective correlation) — це варіант пірсонової кореляції, в якому дані не центровано навколо їхніх середніх значень.^{[джерело?]} Віддзеркалювальна кореляція сукупності це

$\operatorname {corr} _{r}(X,Y)={\frac {\operatorname {\mathbb {E} } [\,X\,Y\,]}{\sqrt {\operatorname {\mathbb {E} } [\,X^{2}\,]\cdot \operatorname {\mathbb {E} } [\,Y^{2}\,]}}}.$

Віддзеркалювальна кореляція симетрична, але не інваріантна щодо паралельного перенесення:

$\operatorname {corr} _{r}(X,Y)=\operatorname {corr} _{r}(Y,X)=\operatorname {corr} _{r}(X,bY)\neq \operatorname {corr} _{r}(X,a+bY),\quad a\neq 0,b>0.$

Віддзеркалювальна кореляція вибірки еквівалентна косинусній подібності:

$rr_{xy}={\frac {\sum x_{i}y_{i}}{\sqrt {(\sum x_{i}^{2})(\sum y_{i}^{2})}}}.$

Зважена версія вибіркової віддзеркалювальної кореляції це

$rr_{xy,w}={\frac {\sum w_{i}x_{i}y_{i}}{\sqrt {(\sum w_{i}x_{i}^{2})(\sum w_{i}y_{i}^{2})}}}.$

Масштабний коефіцієнт кореляції

Масштабна кореляція (англ. scaled correlation) — це варіант кореляції Пірсона, в якому діапазон даних обмежують навмисно й контрольовано, щоби виявляти кореляції між швидкими складовими в часових рядах. Масштабну кореляцію визначають як середню кореляцію над короткими сегментами даних.

Нехай $K$ це кількість сегментів, які можуть вміститися в загальну довжину сигналу $T$ для заданого масштабу $s$:

$K=\operatorname {round} \left({\frac {T}{s}}\right).$

Тоді масштабну кореляцію над усім сигналом ${\bar {r}}_{s}$ обчислюють як

${\bar {r}}_{s}={\frac {1}{K}}\sum \limits _{k=1}^{K}r_{k},$

де $r_{k}$ — коефіцієнт кореляції Пірсона для сегмента $k$.

Шляхом обирання параметра $s$ зменшують діапазон значень, і кореляції на довгих часових масштабах відфільтровуються, так, що виявляються лише кореляції на коротких часових масштабах. Таким чином усувають внески повільних складових і зберігають внески швидких складових.

Відстань Пірсона

Метрику відстані для двох змінних X та Y, відому як відстань Пірсона (англ. Pearson's distance), можливо визначати з коефіцієнта їхньої кореляції як

$d_{X,Y}=1-\rho _{X,Y}.$

Враховуючи те, що коефіцієнт кореляції Пірсона перебуває в межах [−1, +1], відстань Пірсона лежить на проміжку [0, 2]. Відстань Пірсона використовували в кластерному аналізі та виявлянні даних для передавання та зберігання з невідомими передавальним коефіцієнтом та зміщенням.

Визначена таким чином «відстань» Пірсона для від'ємних кореляцій встановлює відстань понад 1. Насправді, значення мають як сильна додатна, так і сильна від'ємна кореляції, тому потрібно бути обережними при використанні «відстані» Пірсона в алгоритмах найближчих сусідів, оскільки такі алгоритми включатимуть лише сусідів із додатною кореляцією й виключати сусідів із від'ємною. Як альтернативу, можливо застосовувати відстань з абсолютним значенням, $d_{X,Y}=1-|\rho _{X,Y}|$, яка враховуватиме як додатні, так і від'ємні кореляції. Інформацію про додатну та від'ємну пов'язаність можливо виділяти окремо пізніше.

Коловий коефіцієнт кореляції

Для змінних X = {x₁,…,x_n} та Y = {y₁,…,y_n}, визначених на одиничному колі $[0,2\pi )$, можливо визначити коловий (англ. circular) аналог коефіцієнта Пірсона. Це робиться шляхом такого перетворення даних в X та Y за допомогою функції синуса, що коефіцієнт кореляції визначається як

$r_{\text{circular}}={\frac {\sum _{i=1}^{n}\sin(x_{i}-{\bar {x}})\sin(y_{i}-{\bar {y}})}{{\sqrt {\sum _{i=1}^{n}\sin(x_{i}-{\bar {x}})^{2}}}{\sqrt {\sum _{i=1}^{n}\sin(y_{i}-{\bar {y}})^{2}}}}}$

де ${\bar {x}}$ та ${\bar {y}}$ — колові середні X та Y. Ця міра може бути корисною в таких галузях як метеорологія, де важливий кутовий напрямок даних.

Частинна кореляція

Якщо сукупність або набір даних характеризується понад двома змінними, коефіцієнт частинної кореляції вимірює силу залежності між парою змінних, яка не пояснюється тим, як вони обидві змінюються у відповідь на варіації в обраній підмножині інших змінних.

Декореляція n випадкових змінних

Завжди можливо усунути кореляції між усіма парами довільного числа випадкових змінних за допомогою перетворення даних, навіть якщо взаємозв'язок між цими змінними нелінійний. Подання цього результату для розподілів сукупностей навели Кокс та Гінклі.

Існує відповідний результат для зведення до нуля й вибіркових кореляцій. Припустімо, що вектор з n випадкових змінних спостерігають m разів. Нехай X — матриця, де $X_{i,j}$ — j-та змінна спостереження i. Нехай $Z_{m,m}$ — квадратна матриця m на m з усіма елементами 1. Тоді D — це дані, перетворені так, що кожна випадкова змінна має нульове середнє, а T — це дані, перетворені так, що всі змінні мають нульове середнє й нульову кореляцію з усіма іншими змінними, — вибіркова кореляційна матриця T буде одиничною матрицею. Це потрібно додатково поділити на стандартне відхилення, щоб отримати одиничну дисперсію. Перетворені змінні будуть некорельованими, хоч вони й можуть бути не незалежними.

$D=X-{\frac {1}{m}}Z_{m,m}X$

$T=D(D^{\mathsf {T}}D)^{-{\frac {1}{2}}},$

де степінь −+1⁄2 подає квадратний корінь оберненої матриці. Матриця кореляції T буде одиничною. Якщо нове спостереження даних x це рядковий вектор з n елементів, то те саме перетворення можливо застосувати й до x, щоб отримати перетворені вектори d та t:

$d=x-{\frac {1}{m}}Z_{1,m}X,$

$t=d(D^{\mathsf {T}}D)^{-{\frac {1}{2}}}.$

Декореляція пов'язана з аналізом головних компонент для багатовимірних даних.

Програмні втілення

• У базовому пакеті статистики R цей коефіцієнт кореляції втілено через cor(x, y), або (з P-значенням) через cor.test(x, y).
• У бібліотеці Python SciPy — через pearsonr(x, y).
• Бібліотека Python Pandas втілює обчислення коефіцієнта кореляції Пірсона як варіант за замовчуванням для методу pandas.DataFrame.corr
• Wolfram Mathematica — через функцію Correlation, або (з P-значенням) через CorrelationTest.
• Бібліотека C++ Boost — через функцію correlation_coefficient.
• Excel має вбудовану функцію correl(array1, array2) для обчислення коефіцієнта кореляції Пірсона.

Див. також

• Відношення квадрантових кількостей
• Відношення шансів
• Дезатенюація
• Квартет Анскомбе
• Коефіцієнт колігації
  • Q Юла
  • Y Юла
• Коефіцієнт конкордації
• Коефіцієнт кореляції рангу Спірмена
• Коефіцієнт множинної кореляції
• Кореляційне відношення
• Кореляція віддалі
• Кореляція і залежність
• Максимальний інформаційний коефіцієнт
• Множинна кореляція
• Нормальна розподіленість і некорельованість не означає незалежність
• Пов'язаність (статистика)
• Поліхорна кореляція
• RV-коефіцієнт
• Частинна кореляція

Посилання

• cocor. comparingcorrelations.org (англ.). — Безкоштовний вебінтерфейс та пакет R для статистичного порівняння двох залежних або незалежних кореляцій з перетинними або неперетинними змінними.
• Correlation. nagysandor.eu (англ.). — інтерактивна флешсимуляція кореляції двох нормально розподілених змінних.
• Correlation coefficient calculator. hackmath.net. Linear regression (англ.).
• Critical values for Pearson's correlation coefficient (PDF). frank.mtsu.edu/~dkfuller. — велика таблиця.
• Guess the Correlation (англ.). — Гра, в якій гравці вгадують, наскільки корельовані дві змінні на діаграмі розсіювання, щоби краще зрозуміти поняття кореляції.