Pearson Correlation Coefficient와 Spearman Correlation Coefficient

통계학 관련 글 목록

• 참조 : 분산과 공분산 (variance and covariance)
• 참조 : 피어슨 상관 계수, 위키피디아
• 참조 : 스피어먼 상관 계수, 위키피디아

• 이번 글에서는 두 변수의 상관관계를 측정하는 대표적인 방식인 Pearson Correlation Coefficient와 Spearman Correlation Coefficient에 대하여 살펴보도록 하겠습니다.

목차

• Pearson Correlation과 Spearman Correlation의 비교

• Pearson Correlation의 정의와 예제

• Spearman Correlation의 정의와 예제

Pearson Correlation과 Spearman Correlation의 비교

• 먼저 본 글에서 살펴 볼 Pearson Correlation과 Spearman Correlation의 특성에 대하여 먼저 살펴보도록 하겠습니다.

• 위 도표와 같이 Spearman Correlation이 아웃라이어에 좀 더 강건할 뿐 아니라 단조 증가 관계만 가지면 사용할 수 있기 때문에 처음 시도하기에 좀 더 용이합니다.
• 반면 두 변량이 선형 관계를 가지는 지 여부에 좀 더 초점을 두고자 한다면 Pearson Correlation을 사용할 수 있습니다.
• 따라서 본 글의 내용을 살펴 보기 전에 어떤 상관 관계를 사용해야 하는 지 위 도표를 보고 먼저 접근하는 과정이 필요합니다.

Pearson Correlation의 정의와 예제

• 먼저 Pearson Correlation에 대하여 살펴보도록 하겠습니다. 살펴볼 순서는 Pearson Correlation의 정의와 식의 의미이며 간단한 예시도 살펴보도록 하겠습니다.

Pearson Correlation의 정의

• 먼저 Pearson Correlation의 정의는 다음과 같습니다.

• \[\rho_{(X, Y)} = \frac{\text{COV}(X, Y)}{\sqrt{\text{VAR}(X)}\sqrt{\text{VAR}(Y)}} = \frac{\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline{X})(Y_{i}-\overline{Y})}{\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}}\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}}} = \frac{\sum_{i=1}^{n}(X_{i}-\overline{X})(Y_{i}-\overline{Y})}{\sqrt{\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}}\sqrt{\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}}}\]

• 위 식에서 분자는 변수 \(X, Y\) 의 표본의 공분산을 의미하고 분모는 \(X, Y\) 각각의 표본 표준 편차를 의미합니다. 이와 같이 Pearson Correlation의 정의에는 정규 분포를 가정하는 요소인 표본의 공분산과 표준편차가 존재하기 때문에 도표와 같이 정규 분포를 가정하는 데이터 셋에서 잘 동작합니다.
• 위 식에서 \(\text{COV}(X, Y) = \frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline{X})(Y_{i}-\overline{Y})\) 는 두 변수의 공분산을 나타내며 공분산이 양수이면 두 확률변수는 서로 양의 관계가 있음을 의미하고 공분산이 음수이면 두 확률변수는 서로 음의 관계가 있음을 의미합니다.
• 하지만 공분산의 크기값이 상관관계의 강한 정도를 나타내는 것은 아닙니다. 왜냐하면 \(X, Y\) 값 각각의 스케일이 있기 때문에 이 스케일을 통일시켜 주지 않으면 상관관계의 강한 정도를 비교할 수 없기 때문입니다.
• 따라서 공분산이 가장 크게 나타날 수 있는 경우를 분모로 나누어 주는 Normalization 과정을 통해 값의 스케일을 1 이하로 조정할 수 있습니다. 이 때, 공분산이 가장 크게 나타날 수 있는 경우가 \(\sqrt{\text{VAR}(X)}\sqrt{\text{VAR}(Y)}\) 입니다. 즉, 다음 조건을 만족합니다.

• \[\vert \text{COV}(X, Y) \vert \le \sqrt{\text{VAR}(X)}\sqrt{\text{VAR}(Y)}\]

• 이 식이 성립하는 조건은 Cauchy-Schwarz Inequality를 통해 증명이 가능합니다. 바로 아래 내용에서 왜 \(\sqrt{\text{VAR}(X)}\sqrt{\text{VAR}(Y)}\) 가 공분산의 최댓값인 지와 Pearson Correlation의 범위가 왜 -1과 1 사이인 지 살펴보도록 하겠습니다.

Pearson Correlation의 범위가 -1과 1사이인 이유

• Pearson Correlation에서 값의 범위와 Normalization은 다음과 같은 Cauchy-Schwarz Inequality에 의하여 결정됩니다. Cauchy-Schwarz Inequality의 정의는 다음과 같습니다.

• \[\vert \langle a, b \rangle \vert \le \Vert a \Vert \cdot \Vert b \Vert\]
• \[\langle a, b \rangle \quad \text{ : inner product of vectors a and b.}\]
• \[\Vert a \Vert \quad \text{ : norm of vector a.}\]

• 위 식이 Cauchy-Schwarz Inequality의 정의이며 좌변의 값은 두 벡터 내적의 절대값을 의미하고 우변의 각 값은 벡터의 norm을 의미합니다.
• Pearson Correlation을 구할 때, 분자에 해당하는 Covariance의 정의는 다음과 같습니다.

• \[\vert \text{COV}(X, Y) \vert = \vert E[(X - \overline{X})(Y - \overline{Y})] \vert = \vert E[(X - \overline{X})]E[(Y - \overline{Y})] \vert\]

• 위 식에서 \((X - \overline{X})\) 와 \((Y - \overline{Y})\) 각각은 벡터를 의미하고 \((X - \overline{X})(Y - \overline{Y})\) 는 내적을 의미합니다.
• 따라서 위 내적과 관련된 식은 Pearson Correlation에서의 분자 요소에 해당하고 Cauchy-Schwarz Inequality에서는 좌변의 요소에 해당합니다.

• Pearson Correlation을 구할 때, 분모에 해당하는 식은 다음과 같습니다.

• \[\sqrt{\text{VAR}(X)}\sqrt{\text{VAR}(Y)} = \sqrt{E[(X - \overline{X})^{2}]}\sqrt{E[(Y - \overline{Y})^{2}]}\]

• 어떤 벡터 \(a\) 의 norm의 정의는 다음과 같습니다.

• \[\sqrt{a \cdot a} = \sqrt{a_{1}^{2} + a_{2}^{2} + ... + a_{n}^{2}}\]

• 이 정의를 표본 분산을 구하는 데 사용해 보겠습니다.

• \(\sqrt{E[(X - \overline{X})^{2}]}\) = \(\sqrt{\frac{1}{n-1}\sum_{i=1}^{n-1}(X_{i} - \overline{X})^{2}} = \sqrt{\text{VAR}(X)}\)

• 따라서 Pearson Correlation의 분모는 \(\sqrt{\text{VAR}(X)}\sqrt{\text{VAR}(Y)}\) 로 정의되 Cauchy-Schwarz Inequality에서는 우변의 요소로 정의될 수 있습니다.
• 앞에서 다룬 Cauchy-Schwarz Inequality에 따른 식을 전개해 보도록 하겠습니다.

• \[\vert \langle a, b \rangle \vert \le \Vert a \Vert \cdot \Vert b \Vert\]
• \[\Rightarrow \vert \text{COV}(X, Y) \vert \le \sqrt{\text{VAR}(X)}\sqrt{\text{VAR}(Y)}\]
• \[\frac{\vert \text{COV}(X, Y) \vert}{\sqrt{\text{VAR}(X)}\sqrt{\text{VAR}(Y)}} \le 1\]
• \[-1 \le \frac{\text{COV}(X, Y)}{\sqrt{\text{VAR}(X)}\sqrt{\text{VAR}(Y)}} \le 1\]

Pearson Correlation이 선형 관계만 설명 가능한 이유

• 아래 식에서 표본의 갯수는 \(n\) 개이며 \(\overline{X}, \overline{Y}\) 는 각각 \(X, Y\) 변량에 대한 표본의 평균을 의미합니다. \(s_{x}, s_{y}\) 는 표본 표준편차를 의미합니다.
• 아래 식에서 사용된 \(1/(n-1)\) 은 표분분산의 평균이 모분산과 같아져야 하기 때문에 적용한 것이며 상세 내용은 아래 링크에서 확인가능합니다.
  • 링크 : 표본분산에서 n-1로 나누어 주는 이유

• \[\begin{align} \rho_{(X, Y)} = \frac{\text{COV}(X, Y)}{\sqrt{\text{VAR}(X)}\sqrt{\text{VAR}(Y)}} &= \frac{\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline{X})(Y_{i}-\overline{Y})}{\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}}\sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}}} \\ &= \frac{\frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\overline{X})(Y_{i}-\overline{Y})}{s_{x}s_{y}} \\ &= \frac{1}{n-1}\sum_{i=1}^{n} \frac{(X_{i}-\overline{X})}{s_{x}}\frac{(Y_{i}-\overline{Y})}{s_{y}} \\ &= \frac{1}{n-1}\sum_{i=1}^{n} Z_{X_{i}}Z_{Y_{i}} \end{align}\]

• 위 식에서 \(Z_{X_{i}}, Z_{Y_{i}}\) 각각은 Standardization이 적용된 상태의 변량이 됩니다. 각 변량은 표준 정규 분포를 따르도록 Standardization가 적용된 것이기 때문에 각 변량의 스케일에 상관없이 모두 평균이 0, 표준편차는 \(s_{x}, s_{y}\) 를 따르도록 형성됩니다.
• 이 때, \(Z_{X_{i}}, Z_{Y_{i}}\) 가 같이 양의 값 방향으로 증가하거나 음의값 방향으로 감소해야 두 값을 곱하였을 때, 큰 양수 값이 되며 평균을 내었을 때, 1에 가까운 값이 됩니다.
• 반면 \(Z_{X_{i}}, Z_{Y_{i}}\) 값 중 한 값이 증가할 때, 나머지 값은 감소하게 되면 두 값을 곱하였을 때, 큰 음수 값이 되며 평균을 내었을 때, -1에 가까운 값이 됩니다.
• 만약 한 값이 증가하더라도 나머지 한 값이 뚜렷한 증감 없이 평균에 가까운 0에 머물게 되는 경우가 많이 생기게 된다면 평균을 내었을 때, 0에 가까운 값이 됩니다. 이러한 이유로 Pearson Correlation에서는 두 변수의 증감에 대한 상관관계가 없으면 0에 가까운 값을 얻게 됩니다.
• 앞에서 설명한 이유로 두 변량의 양의 상관관계가 클수록 1에 가까운 값을 얻게 되고 음의 상관관계가 클수록 -1에 가까운 값을 얻게 됩니다.

• Pearson Correlation은 두 변량 간의 선형관계를 나타내는 특성을 가지고 있습니다. 앞에서 Standardization을 하는 과정에서 각 변량에 평균을 빼고 표본 표준편차를 나누어 주는 과정을 통해 두 변량의 스케일을 맞춰준 후 곱하게 됩니다. 이 Standardization이 선형 변환을 적용하기 때문에 Pearson Correlation은 두 변량의 선형 관계만 설명할 수 있습니다. 비선형적인 관계라면 관계성이 있다고 하더라도 낮은 correlation 수치를 얻을 수도 있습니다. 이러한 점이 Pearson Correlation의 특징이면서 단점으로 작용하기도 합니다.
• 뿐만 아니라 몇 개의 데이터 쌍이 이상치가 되어 노이즈 처럼 작용된다면 비록 대부분의 데이터가 선형 관계를 가지더라도 Pearson Correlation을 계산할 때, 악영향을 끼칠 수 있습니다. 즉, Pearson Correlation은 노이즈에 취약하다는 단점이 있습니다. 관련 내용은 아래 예시를 살펴보면서 확인해 보도록 하겠습니다.
• 상세 내용 및 추가 해석등은 다음 위키피디아에서 참조할 수 있습니다.
  • 링크 : https://en.wikipedia.org/wiki/Pearson_correlation_coefficient#Interpretation

Pearson Correlation의 예시

• 아래는 강한 선형 관계를 가지는 표본의 갯수가 10개인 데이터 셋 입니다.

import numpy as np

# Given data for X and Y
X = np.array([2, 4, 5, 6, 8, 7, 9, 10, 11, 12])
Y = np.array([3, 4, 6, 5, 7, 8, 9, 10, 12, 11])

# Calculate means of X and Y
mean_X = np.mean(X)
mean_Y = np.mean(Y)

# Calculate Pearson Correlation Coefficient
numerator = np.sum((X - mean_X) * (Y - mean_Y))
denominator = np.sqrt(np.sum((X - mean_X)**2) * np.sum((Y - mean_Y)**2))
r = numerator / denominator
print(r)
# 0.9620913858416693

• 계산 결과 0.96의 매우 강한 선형 관계임을 확인할 수 있습니다.

• 이번에는 아래와 같이 선형 관계가 없는 데이터 셋으로 상관 관계를 구해보도록 하겠습니다.

• 위 코드를 이용하여 동일한 방식으로 구하면 0.078 이라는 매우 낮은 값을 얻을 수 있습니다.

Spearman Correlation의 정의와 예제

• 앞에서 살펴본 Pearson Correlation의 경우 두 변량의 선형 관계 정도를 -1에서 1 사이의 범위로 나타냄을 확인할 수 있었습니다. 그리고 Pearson Correlation의 정의에 따라서 오직 선형 관계만 설명할 수 있다는 단점과 소수의 노이즈 데이터 쌍에도 상관계수가 영향을 받을 수 있음을 확인하였습니다.
• 이러한 문제점을 개선하기 위하여 데이터의 분산을 이용하는 방법이 아닌 rank를 이용하는 방법에 대하여 살펴보도록 하겠습니다.

Spearman Correlation의 정의

• 먼저 Spearman Correlation의 정의는 다음과 같습니다.

• \[r_{(X, Y)} = 1 - \frac{6 \sum_{i=1}^{n}(d_{i}^{2})}{n(n^{2}-1)}\]
• \[d_{i} = R(X_{i}) - R(Y_{i})\]
• \[R(X_{i}) : \text{Ranking order of X_i among all X data}\]
• \[R(Y_{i}) : \text{Ranking order of Y_i among all Y data}\]

• 위 식에서 \(r_{(X, Y)}\) 의 값의 범위는 Pearson Correlation과 동일하게 -1 에서 1의 범위를 가지게 되고 그 의미 또한 1에 가까울 수록 양의 상관관계가 높고 -1에 가까울수록 음의 상관관계가 높습니다.
• Pearson Correlation과의 차이점에 대하여 살펴보면 \(d_{i} = R(X_{i}) - R(Y_{i})\) 에 있습니다. Pearson Correlation은 Standardization 과정으로 전처리한 값을 사용하는 반면에 Spearman Correlation은 ranking을 이용합니다. 즉, 가지고 있는 데이터 셋에서 크기 순서의 인덱스 번호를 값으로 대체합니다. 예를 들어 \(X_{1} = 100, X_{2} = -10, X_{3} = 3\) 이면 \(R(X_{1}) = 1, R(X_{2}) = 3, R(X_{3}) = 2\) 가 됩니다.
• 이와 같은 방법으로 ranking을 이용하면 Pearson Correlation에서 발생한 노이즈에 대한 영향을 줄일 수 있습니다. 뿐만 아니라 Pearson Correlation에서는 선형 관계만 설명 가능하였지만 Spearman Correlation는 ranking으로 표현 가능한 단조 증가 관계 (monotonic relationship)는 모두 설명 가능합니다. 단조 증가 관계는

Spearman Correlation 식 유도 과정

• 아래와 같이 두 변수 \(X, Y\) 의 원소가 \(n\) 개라고 가정해 보겠습니다.

• \[X = \{X_{1}, X_{2}, \cdots , X_{n}\}\]
• \[Y = \{Y_{1}, Y_{2}, \cdots , Y_{n}\}\]

• 만약 \(X, Y\) 에서 각 변수의 크기 순서를 \(R(X_{i}), R(Y_{i})\) 라고 가정하겠습니다. 즉, 서수 (order)를 의미합니다. 이것을 랭킹으로 부르겠습니다.
• 두 변수의 랭킹의 차이가 없을 수록 두 변수가 모두 단조 증가 관계를 가진다고 말할 수 있습니다. 따라서 두 변수의 랭킹 차이가 없을수록 두 변수의 상관관계가 크다라고 말할 수 있으며 이와 같은 상관관계가 정의될 수 있도록 식을 세을 필요가 있습니다.
• 먼저 두 변수 간의 랭킹 차이를 Sum of Square방식으로 나타내 보겠습니다.

• \[\sum_{i=1}^{n} d_{i}^{2} = \sum_{i=1}^{n}(R(X_{i}) - R(Y_{i}))^{2}\]

• 앞에서 다룬 Pearson Correaltion은 강한 양의 상관관계는 1, 강한 음의 상관관계는 -1, 그리고 상관관계가 없으면 0에 가까워 지도록 설계되었습니다.
• Spearman Correlation 또한 같은 상관관계 지수를 가지도록 값을 설계해보도록 하겠습니다.
• Pearson Correlation은 값의 범위는 Cauchy–Schwarz inequality로 인하여 -1 ~ 1 사이 값으로 Normalization된 것을 앞에서 확인하였습니다. Spearman Correlation 또한 Normalization 과정을 통하여 범위를 -1 ~ 1 사이 범위로 만들어 보겠습니다.
• Normalization을 위해서 \(\sum_{i=1}^{n} d_{i}\) 가 가장 커지는 경우를 분모로 나누어 주어야 합니다. \(\sum_{i=1}^{n} d_{i}\) 값이 가장 커지는 경우는 두 변수의 랭킹 순서가 반대로 되어 있는 경우입니다.

• \[R(X_{1}) = 1, R(X_{2}) = 2, R(X_{3}) = 3, ... , R(X_{n-1}) = n-1, R(X_{n}) = n\]
• \[R(Y_{1}) = n, R(Y_{2}) = n-1, R(Y_{3}) = n-2, ... , R(Y_{n-1}) = 2, R(Y_{n}) = 1\]
• \[\begin{align} \sum_{i=1}^{n} d_{i} &= \sum_{i=1}^{n}(R(X_{i}) - R(Y_{i}))^{2} \\ &= (R(X_{1}) - R(Y_{1}))^{2} + (R(X_{2}) - R(Y_{2}))^{2} + (R(X_{3}) - R(Y_{3}))^{2} + ... + (R(X_{n-1}) - R(Y_{n-1}))^{2} + (R(X_{n}) - R(Y_{n}))^{2} \\ &= (n - 1)^{2} + (n - 3)^{2} + (n - 5)^{2} + ... + (3 - n)^{2} + (1 - n)^{2} \\ &= (n - 1)^{2} + (n - 3)^{2} + (n - 5)^{2} + ... + (n - 3)^{2} + (n - 1)^{2} = \frac{n(n^{2} - 1)}{3} \end{align}\]

• 위 식의 전개 과정을 sympy를 이용하여 풀면 다음과 같습니다.

from sympy import Sum
from sympy import symbols, solve

# Define symbols
n, k = symbols('n k')

# Calculate the number of terms for odd and even n
# For odd n, solve n - (2k-1) = 1
middle_term_odd = solve(n - (2*k - 1) - 1, k)

# For even n, solve n - (2k-1) = 0
middle_term_even = solve(n - (2*k - 1), k)

# Total number of terms for odd and even n (since the series is symmetric)
total_terms_odd = 2 * middle_term_odd[0] - 1
total_terms_even = 2 * middle_term_even[0]

total_terms_odd, total_terms_even

# Define the general term of the series
general_term = (n - (2*k - 1))**2

# Summation for odd n (from k=1 to (n-1)/2, double it, and add the middle term 0)
sum_odd_n = 2 * Sum(general_term, (k, 1, (n - 1)/2)).doit()

# Summation for even n (from k=1 to n/2, double it)
sum_even_n = 2 * Sum(general_term, (k, 1, n/2)).doit()

print(sum_odd_n.simplify())
# n*(n**2 - 1)/3
print(sum_even_n.simplify())
# n*(n**2 - 1)/3

• 따라서 \(\sum_{i=1}^{n} d_{i}^{2}\) 을 Normalize 하면 다음과 같습니다.

• \[0 \le \frac{\sum_{i=1}^{n} d_{i}^{2}}{\frac{n(n^{2}-1)}{3}} \le 1\]

• 위 식은 0일 때, 가장 큰 양의 상관관계를 가지고 1일 때 가장 큰 음의 상관관계를 가집니다. Pearson Correlation과 같이 -1 ~ 1 사이의 범위를 가지고 -1을 가질 때, 가장 큰 음의 상관관계, 1일 때 가장 큰 양의 상관관계를 가지도록 식을 수정해 보도록 하겠습니다.

• \[0 \le \frac{\sum_{i=1}^{n} d_{i}^{2}}{\frac{n(n^{2}-1)}{3}} \le 1\]
• \[0 \le \frac{3\sum_{i=1}^{n} d_{i}^{2}}{n(n^{2}-1)} \le 1\]
• \[0 \le \frac{6\sum_{i=1}^{n} d_{i}^{2}}{n(n^{2}-1)} \le 2\]
• \[-2 \le -\frac{6\sum_{i=1}^{n} d_{i}^{2}}{n(n^{2}-1)} \le 0\]
• \[-1 \le 1 -\frac{6\sum_{i=1}^{n} d_{i}^{2}}{n(n^{2}-1)} \le 1\]

• 따라서 처음에 정의한 Spearman correlation의 식인 \(r_{(X, Y)} = 1 - \frac{6 \sum_{i=1}^{n}(d_{i}^{2})}{n(n^{2}-1)}\) 를 유도할 수 있습니다.
• 위 식의 결과 \(\sum d_{i}^{2}\) 이 작아질수록 양의 상관관계가 커지게 되고 \(\sum d_{i}^{2}\) 이 커질수록 음의 상관관계가 커지게 됩니다. 반면 \(\sum d_{i}^{2}\) 가 \(n(n^{2}-1)/6\) 에 가까워질수록 상관관계가 없어짐을 알 수 있습니다.

• Spearman Correlation 식 유도 과정을 통해 Spearman Correlation의 의미와 값의 범위 그리고 단조 증가를 가지는 다양한 관계를 설명할 수 있다는 장점을 이해할 수 있었습니다.

Spearman Correlation의 예시

• 이번에는 앞의 Pearson Correlation 예시를 살펴본 바와 동일하게 Spearman Correlation에 대하여 살펴보도록 하겠습니다.
• 살펴볼 예시는 2가지 입니다. ① 선형 관계가 아니지만 단조 증가하는 관계와 ② 노이즈가 섞여있는 예제입니다.

• 먼저 아래는 ① 선형 관계가 아니지만 단조 증가하는 관계 예시입니다. 데이터는 9차 방정식을 가정하였습니다.

# Function to calculate ranks
def rank_data(data):
    sorted_data = sorted(enumerate(data), key=lambda x: x[1])
    ranks = [0] * len(data)
    for rank, (index, _) in enumerate(sorted_data, start=1):
        ranks[index] = rank
    return ranks

# Define the data for the 9th-degree polynomial relationship
X_data = np.array(range(1, 21))
Y_data = X_data ** 9  # 9th-degree relationship
n = len(X_data)

# Calculate ranks for X and Y
X_ranks = rank_data(X_data)
Y_ranks = rank_data(Y_data)

# Calculate Spearman's rank correlation coefficient manually
differences = [x - y for x, y in zip(X_ranks, Y_ranks)]
squared_differences = [d**2 for d in differences]
rho_spearman = 1 - (6 * sum(squared_differences)) / (n * (n**2 - 1))

# Calculate Pearson correlation coefficient manually
mean_Y_data = np.mean(Y_data)
covariance_data = np.sum((X_data - mean_X_data_cubic) * (Y_data - mean_Y_data))
variance_Y_data = np.sum((Y_data - mean_Y_data)**2)
r_pearson = covariance_data / np.sqrt(variance_X_data_cubic * variance_Y_data)

print(rho_spearman)
# 1.0,

print(r_pearson)
# 0.6976735795972945

• Spearman Correlation은 1.0인 반면에 Pearson Correlation은 0.69인 것을 확인할 수 있습니다.

• 이번에는 ② 노이즈가 섞여있는 예제를 살펴보도록 하겠습니다.

# Set up the base linear relationship with noise
np.random.seed(0)
X_data = np.linspace(-10, 10, 47)
Y_data = 2 * X_data + np.random.normal(0, 3, 47)

# Adding outliers that disrupt the ranks but not the overall linear trend
x_outliers = np.array([-9, 0, 9])
y_outliers = np.array([-30, 100, -25])
X_data = np.append(X_data, x_outliers)
Y_data = np.append(Y_data, y_outliers)

# Calculate Spearman's rank correlation coefficient manually
x_ranks = rank_data(X_data)
y_ranks = rank_data(Y_data)
differences = [x - y for x, y in zip(x_ranks, y_ranks)]
squared_differences = [d**2 for d in differences]
rho_spearman = 1 - (6 * sum(squared_differences)) / (len(X_data) * (len(X_data)**2 - 1))

# Calculate Pearson correlation coefficient manually
mean_x = np.mean(X_data)
mean_y = np.mean(Y_data)
covariance = np.sum((X_data - mean_x) * (Y_data - mean_y))
variance_x = np.sum((X_data - mean_x)**2)
variance_y = np.sum((Y_data - mean_y)**2)
rho_pearson = covariance / np.sqrt(variance_x * variance_y)

print(rho_spearman)
# 0.8436494597839136

print(rho_pearson)
# 0.5354899275518871

• 이번 예제에서는 꽤 큰 차이를 확인할 수 있습니다. Spearman Correlation을 이용 시, 약 0.84의 상관관계를 얻을 수 있는 반면에 Pearson Correlation은 0.53으로 상대적으로 낮은 상관관계를 얻은 것을 볼 수 있습니다.

통계학 관련 글 목록