양의 정부호 행렬 (Positive Definite Matrix)

선형대수학 글 목차

본 글에서 다룰 내용이 길어질 수 있으므로 양의 정부호/준정부호 행렬의 정의와 성질을 먼저 상단부에 정리해 놓도록 하겠습니다.

양의 정부호/준정부호 행렬의 정의

Positive Definite Matrix : 대칭행렬 \(A (A = A^{T})\) 가 모든 \(n\) 차원 벡터 \(x \ne 0\) 에 대하여 \(x^{T} A x \gt 0\) 이면, \(A\) 를 PDM 이라고 합니다.
Positive Semi-Definite Matrix : PDM의 조건에서 \(x^{T} A x \ge 0\) 이면 \(A\) 를 PSDM이라고 합니다.

양의 정부호/준정부호 행렬의 성질

① 임의의 행렬 \(A\) 에 대하여 \(A^{T}A, AA^{T}\) 는 PSDM입니다.
② \(n \times n\) 대칭 행렬 \(A\) 에 대하여, \(A\) 가 PDM일 필요충분 조건은 \(A\) 의 모든 eigenvalue가 양수인 경우입니다.
③ \(n \times n\) 대칭 행렬 \(A\) 에 대하여 다음 네가지 명제는 동치입니다. 즉, 하나를 만족하면 나머지 3개도 모두 만족한다는 뜻입니다.
- ③-1 : 행렬 \(A\) 가 PDM 입니다.
- ③-2 : \(A\) 의 모든 eigenvalue가 양의 실수 입니다.
- ③-3 : \(A = U^{T}U\) 를 만족하는 regular matrix (역행렬이 존재하는 행렬) \(U\) 가 존재합니다.
- ③-4 : \(A\) 의 모든 sub-determinant가 양의 실수입니다.
④ \(n \times n\) 크기의 행렬 \(A, B\) 가 각각 PDM이면 다음을 만족합니다.
- ④-1 : \(A^{T}, sA + tB\) 모두 PDM을 만족합니다. 단, \(s, t \gt 0\)
- ④-2 : \(A^{-1}\) 또한 PDM을 만족합니다.
- ④-3 : \(U\) 가 regular matrix이면 \(U^{T} A U\) 또한 PDM을 만족합니다.
⑤ \(n \times n\) 행렬 \(A\) 에 대하여 다음 네가지 명제는 동치입니다. 즉, 하나를 만족하면 나머지 3개도 모두 만족한다는 뜻입니다.
- ⑤-1 : 행렬 \(A\) 가 PSDM 입니다.
- ⑤-2 : \(A\) 의 모든 eigenvalue가 음의 실수가 아닙니다.
- ⑤-3 : \(A = U^{T}U\) 를 만족하는 regular matrix (역행렬이 존재하는 행렬) \(U\) 가 존재합니다.
- ⑤-4 : \(A\) 의 모든 sub-determinant가 음의 실수가 아닙니다.
\[A \text{ is skew-symmetric } \leftrightarrow x^{T}Ax = 0\]

이번 글에서는 Positivie Definite Matrix (양의 정부호 행렬)와 Positivie Semi-Definite Matrix (양의 준정부호 행렬)의 정의와 그 성질에 대하여 알아보겠습니다. 용어는 PDM과 PSDM으로 줄여서 사용하겠습니다.
PDM과 PSDM의 정의는 다음과 같습니다.

Positive Definite Matrix : 대칭행렬 \(A (A = A^{T})\) 가 모든 \(n\) 차원 벡터 \(x \ne 0\) 에 대하여 \(x^{T} A x \gt 0\) 이면, \(A\) 를 PDM 이라고 합니다.
Positive Semi-Definite Matrix : PDM의 조건에서 \(x^{t} A x \ge 0\) 이면 \(A\) 를 PSDM이라고 합니다.

두가지 정의를 살펴보면 임의의 벡터 \(x\) 를 대칭행렬 \(A\) 를 이용하여 선형변환 하고 (\(x^{T}A\)) 다시 \(x\) 를 곱한 뒤 결과의 부호를 살펴보는 과정입니다. 이 과정의 의미는 글의 내용을 살펴보면서 차근 차근 설명해 보도록 하겠습니다.
지금부터 PDM과 PSDM의 성질 등을 하나씩 살펴보도록 하겠습니다.

① 임의의 행렬 (앞에서 가정한 대칭행렬과 상관 없음) \(A\) 에 대하여 \(A^{T}A, AA^{T}\) 는 PSDM입니다.
① 내용의 증명은 다음과 같습니다.

\[x^{T}A^{T}A x = (Ax)^{T}(Ax) = b^{T}b \ge 0\]
\[x^{T}AA^{T} x = (A^{T}x)^{T}(A^{T}x) = c^{T}c \ge 0\]

위 2가지 내용을 모두 살펴보면 연산 결과 같은 벡터 (\(b, c\))의 내적이 되고 같은 벡터의 내적은 0 이상의 값을 가지므로 ① 내용을 만족할 수 있습니다.

② \(n \times n\) 대칭 행렬 \(A\) 에 대하여, \(A\) 가 PDM일 필요충분 조건은 \(A\) 의 모든 eigenvalue가 양수인 경우입니다.
② 내용의 증명은 다음과 같습니다. 먼저 충분 조건 (→) 부터 살펴보도록 하겠습니다.

(→) 행렬 \(A\) 가 PDM이고 \(Av = \lambda v\) 라고 가정하겠습니다. 이 때, 다음 식을 만족합니다.

\[v^{t} A v = \lambda v^{t} v > 0\]

이 때, \(v\) 는 0이 아니고 (PDM을 만족해야 함) 같은 벡터를 이용한 내적의 결과는 항상 0 이상의 양수이므로 \(v^{t} v > 0\) 을 만족합니다. 따라서 \(\lambda > 0\) 을 만족해야 합니다.

(←) eigenvalue, eigenvector를 이용한 식 \(Av_{1} = \lambda_{1}v_{1}\), ~ , \(Av_{n} = \lambda_{n}v_{n}\) 에서 \(\lambda_{i} > 0, \ i=1, ... , n\) 이고 \(v_{1}, v_{2}, ... , v_{n}\) 이 orthonormal basis라고 가정하겠습니다. 이와 같이 가정하면 임의의 벡터 \(v\) 는 orthonormal basis인 eigenvector와 eigenvalue를 이용하여 다음과 같이 표현할 수 있습니다.

\[v = \lambda_{1}v_{1} + \lambda_{2}v_{2} + \cdots + \lambda_{n}v_{n}\]
\[Av = A(\lambda_{1}v_{1} + \cdots + \lambda_{n}v_{n})\]

\[\begin{align} v^{T}Av &= (\lambda_{1}v_{1} + \cdots + \lambda_{n}v_{n})^{T}A(\lambda_{1}v_{1} + \cdots + \lambda_{n}v_{n}) \\ &= (\lambda_{1}v_{1} + \cdots + \lambda_{n}v_{n})^{T}(\lambda_{1}Av_{1} + \cdots \lambda_{n}Av_{n}) \\ &= (\lambda_{1}v_{1} + \cdots + \lambda_{n}v_{n})^{T}(\lambda_{1}\lambda_{1}v_{1} + \cdots \lambda_{n}\lambda_{n}v_{n}) \\ &= (\lambda_{1}v_{1} + \cdots + \lambda_{n}v_{n})^{T}(\lambda_{1}^{2}v_{1} + \cdots + \lambda_{n}^{2}v_{n}) \\ &= (\lambda_{1}^{3} + \lambda_{2}^{3} + \cdots + \lambda_{n}^{3}) > 0 \ (\because v_{i}^{T}v_{j} = 1 \text{, if} \ i = j \text{ and } v_{i}^{T}v_{j} = 0, \text{ if } i \ne j) \end{align}\]

따라서 위 식의 전개와 같이 \(v^{T}Av > 0\) 임을 확인할 수 있었습니다.
최종적으로 대칭행렬 \(A\) 에 대하여 \(A\) 가 PDM인 것과 모든 eigenvalue가 0보다 크다는 것은 필요충분조건임을 확인할 수 있었습니다.

③ \(n \times n\) 대칭 행렬 \(A\) 에 대하여 다음 네가지 명제는 동치입니다. 즉, 하나를 만족하면 나머지 3개도 모두 만족한다는 뜻입니다.
- ③-1 : 행렬 \(A\) 가 PDM 입니다.
- ③-2 : \(A\) 의 모든 eigenvalue가 양의 실수 입니다.
- ③-3 : \(A = U^{T}U\) 를 만족하는 regular matrix (역행렬이 존재하는 행렬) \(U\) 가 존재합니다.
- ③-4 : \(A\) 의 모든 sub-determinant가 양의 실수입니다.

먼저 앞에서 ③-1과 ③-2는 필요 충분조건인 것을 확인하였습니다. ③-2 → ③-3 인 것을 먼저 확인하고 ③-3 → ③-1 인 것을 확인하여 ③-3 또한 동치임을 보이도록 하겠습니다.

대칭 행렬은 orthogonal matrix \(Q\) 와 diagonal matrix \(D\) 로 다음과 같이 표현가능합니다. 아래 내용을 참조해 주시기 바랍니다.
- 행렬의 대각화

\[A = Q^{T} D Q \quad (\text{Q : Orthogonal Matrix, D : Diagonal Matrix})\]
\[D = \begin{bmatrix} \lambda_{1} & 0 & \cdots & 0 \\ 0 & \lambda_{2} & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_{n} \end{bmatrix}\]

위 식과 같이 diagonal matrix \(D\) 의 대각성분이 eigenvalue이므로 모두 양수입니다. (③-2의 조건) 따라서 diagonal matrix \(D\) 의 대각 성분이 모두 양수이므로 \(D = C^{2}\) 으로 표현할 수 있습니다. 추가적으로 식을 전개해 보면 다음과 같습니다.

\[\begin{align} A = Q^{T}D Q &= Q^{T} CC Q \\ &= Q^{T}C^{T}C Q \quad (\because C = C^{T}) \\ &= (CQ)^{T}(CQ) \\ &= U^{T}U \quad (CQ = U) \end{align}\]
\[\therefore \ A = U^{T}U\]

따라서 ③-2 → ③-3 인 것을 확인하였습니다. 이번에는 ③-3 → ③-1 임을 확인해 보겠습니다.

\[x^{T} A x = x^{T}U^{T}U x = (Ux)^{T}Ux \gt 0\]
\[U \text{ : regular matrix, } \quad \therefore x \ne 0 \to Ux \ne 0\]

마지막으로 ③-4의 내용을 살펴보도록 하겠습니다.

먼저 \(3 \times 3\) 크기의 행렬 케이스를 살펴보도록 하겠습니다.

대칭 행렬 \(A = \begin{bmatrix} a_{11} & b & c \\ b & a_{22} & d \\ c & d & a_{33} \end{bmatrix}\) 가 PDM이라고 가정하겠습니다. 그러면 ③-2에 의하여 \(A\) 의 모든 \(\lambda_{1}, \lambda_{2}, \lambda_{3}\) 이 양의 실수가 됩니다. 이 때, orthogonal matrix \(U\) 가 존재하여 다음을 만족합니다.

\[A = U^{T} \begin{bmatrix} \lambda_{1} & \ & \ \\ \ & \lambda_{2} & \ \\ \ & \ & \lambda_{3} \end{bmatrix} U\]
\[\text{det}(A) = \text{det}(U^{T})\text{det}\left(\begin{bmatrix} \lambda_{1} & \ & \ \\ \ & \lambda_{2} & \ \\ \ & \ & \lambda_{3} \end{bmatrix}\right) \text{det}(U) = \lambda_{1}\lambda_{2}\lambda_{3} > 0\]
\[\text{det}(U^{T})\text{det}(U) = 1 \quad (\because U \text{ and } U^{T} \text{ are inversly related.})\]

즉, \(A\) 가 PDM이면 \(\text{det}(A) > 0\) 를 만족함을 알 수 있습니다.

행렬 \(A\) 의 principal submatrices는 다음과 같습니다.

\[\begin{bmatrix} a_{11} \end{bmatrix}, \begin{bmatrix} a_{22} \end{bmatrix}, \begin{bmatrix} a_{33} \end{bmatrix}\]
\[\begin{bmatrix} a_{11} & b \\ b & a_{22} \end{bmatrix}\]
\[\begin{bmatrix} a_{22} & d \\ d & a_{33} \end{bmatrix}\]

행렬 \(A\) 가 PDM이라는 가정으로 인하여 위에서 나열한 모든 principal submatrices는 PDM을 만족합니다. 그 이유는 다음 예시를 통해 확인할 수 있습니다.

\[\begin{bmatrix} x & 0 & 0 \end{bmatrix} \begin{bmatrix} a_{11} & b & c \\ b & a_{22} & d \\ c & d & a_{33} \end{bmatrix} \begin{bmatrix} x \\ 0 \\ 0 \end{bmatrix} > 0 \quad (\text{Assumed } A \text{ is P.D.M})\]
\[x (a_{11}) x > 0 \quad \text{satisfied P.D.M}\]

위 식과 같이 \(x\) 를 \(\begin{bmatrix} x \\ 0 \\ 0 \end{bmatrix}\) 와 같이 정의하면 (또는 유사하게 정의하면) \(\begin{bmatrix} a_{ii} \end{bmatrix}\) 와 같은 형태의 principal submatrices를 만들 수 있습니다.
유사한 방식으로 2개의 행과 열을 선택하는 방식은 다음과 같이 만들 수 있습니다.

\[\begin{bmatrix} x & y & 0 \end{bmatrix} \begin{bmatrix} a_{11} & b & c \\ b & a_{22} & d \\ c & d & a_{33} \end{bmatrix} \begin{bmatrix} x \\ y \\ 0 \end{bmatrix} > 0\]
\[\begin{bmatrix} x & y \end{bmatrix} \begin{bmatrix} a_{11} & b \\ b & a_{22} \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix} > 0 \quad \text{satisfied P.D.M}\]

이와 같은 방식으로 \(2 x 2\) 크기의 principal submatrices를 만들 수 있습니다.

여기서 확인해야 할 점은 모든 principal submatrices의 determinant가 양수인 지 확인하는 것입니다.
③-1과 ③-2에 따라 PDM을 만족하는 행렬의 eigenvalue는 모두 양의 실수이므로 principal submatrices의 eigenvalue 또한 양의 실수가 됩니다.

\[A = U^{T} \begin{bmatrix} \lambda_{1} & \ & \ \\ \ & \lambda_{2} & \ \\ \ & \ & \lambda_{3} \end{bmatrix} U\]
\[\text{det}(A) = \text{det}(U^{T})\text{det}\left(\begin{bmatrix} \lambda_{1} & \ & \ \\ \ & \lambda_{2} & \ \\ \ & \ & \lambda_{3} \end{bmatrix}\right) \text{det}(U) = \lambda_{1}\lambda_{2}\lambda_{3} > 0\]

앞에서 살펴본 위 식에서 전개한 바와 동일하게 principal submatrices에 동일하게 적용하면 eigenvalue가 모두 양의 실수 이기 때문에 principal submatrices의 determinant인 sub-determinant가 모두 양수인 것을 확인할 수 있습니다.

만약 sub-determinant가 모두 양수이면 행렬 \(A\) 를 구성하는 모든 eigenvalue가 양의 실수임을 만족합니다. 앞의 예제를 살펴보면 확인 가능합니다.
즉, sub-determinant가 모두 양수이면 eigenvalue가 양의 실수이고 따라서 행렬 \(A\) 가 PDM이 됩니다.

지금까지 살펴본 내용으로 PDM이면 eigenvalue가 양의 실수임을 계속 확인하였습니다.
eigenvector는 basis의 역할을 하는 반면 eigenvalue는 eigenvector의 스케일 및 방향을 결정하는 역할을 합니다.
PDM에서는 eigenvalue가 모두 양수이기 때문에 eigenvector의 크기만 바뀔 뿐 방향이 바뀌지 않습니다. PDM인 행렬 \(A\) 의 기하학적인 의미는 이와 같이 basis의 방향을 바꾸지 않는 행렬로 이해하면 좀 더 쉽게 이해하실 수 있습니다.

다음으로 PDM의 추가적인 성질에 대하여 알아보도록 하겠습니다.

④ \(n \times n\) 크기의 행렬 \(A, B\) 가 각각 PDM이면 다음을 만족합니다.
- ④-1 : \(A^{T}, sA + tB\) 모두 PDM을 만족합니다. 단, \(s, t \gt 0\)
- ④-2 : \(A^{-1}\) 또한 PDM을 만족합니다.
- ④-3 : \(U\) 가 regular matrix이면 \(U^{T} A U\) 또한 PDM을 만족합니다.

먼저 ④-1 부터 살펴보도록 하겠습니다. \(x^{T}A^{T} x\) 와 \((x^{T}A^{T}x)^{T}\) 모두 실수 스칼라 값만을 가지므로 다음과 같이 식을 적용할 수 있습니다.

\[x^{T}A^{T}x = (x^{T}A^{T}x)^{T}\]
\[\therefore x^{T}A^{T}x = (x^{T}A^{T}x)^{T} = x^{T}Ax \gt 0\]

따라서 \(A\) 가 PDM이면 \(A^{T}\) 또한 PDM을 만족합니다.

\[x^{T}(sA + tB)x = x^{T}(sAx + tBx) = sx^{T}Ax + tx^{T}Bx > 0\]

따라서 \(A, B\) 가 PDM이면 \(sA + tB \ (s, t \gt 0)\) 또한 PDM임을 만족합니다.

다음으로 먼저 ④-2 내용을 살펴보도록 하겠습니다. 이 내용을 증명하기 위해서는 \(x^{T} A^{-1} x \gt 0\) 임을 보이면 됩니다.

\[\text{Assume } \color{blue}{A^{-1}x} = y\]
\[\Rightarrow x = Ay\]
\[\Rightarrow \color{red}{x^{T}} = y^{T}A^{T}\]
\[\therefore \ x^{T}\color{blue}{A^{-1}x} = \color{red}{x^{T}}y = y^{T}A^{T}y \gt 0\]

마지막으로 ④-3 내용을 살펴보도록 하겠습니다. 매우 간단합니다.

\[x^{T} U^{T} A U x = (Ux)^{T} A (Ux) \gt 0\]

지금까지 내용은 PDM에 대하여 다루었습니다. PSDM의 경우 \(x^{T}Ax \ge 0\) 을 만족하면 되고 PDM과 비교하였을 때, 0을 포함한다는 차이점이 있습니다. 따라서 다음과 같은 표현의 차이가 있으며 증명 과정은 동일합니다.

⑤ \(n \times n\) 행렬 \(A\) 에 대하여 다음 네가지 명제는 동치입니다. 즉, 하나를 만족하면 나머지 3개도 모두 만족한다는 뜻입니다.
- ⑤-1 : 행렬 \(A\) 가 PSDM 입니다.
- ⑤-2 : \(A\) 의 모든 eigenvalue가 음의 실수가 아닙니다.
- ⑤-3 : \(A = U^{T}U\) 를 만족하는 regular matrix (역행렬이 존재하는 행렬) \(U\) 가 존재합니다.
- ⑤-4 : \(A\) 의 모든 sub-determinant가 음의 실수가 아닙니다.

아래는 추가적으로 PDM, PSDM과 관련된 내용을 추가하였습니다.

skew-symmetric matrix은 다음과 같은 행렬을 의미합니다.

\[A = -A^{T}\]
\[A = \begin{bmatrix} 0 & -a & -b \\ a & 0 & -c \\ b & c & 0 \\ \end{bmatrix}\]

skew-symmetric matrix는 PSDM과 관련이 있으며 다음 명제를 만족합니다. 아래 명제는 수식 전개 시 많이 사용됩니다.

\[A \text{ is skew-symmetric } \leftrightarrow x^{T}Ax = 0\]

먼저 \(\rightarrow\) 부터 증명해 보도록 하겠습니다.

\[\begin{align} x^{T}Ax &= (x^{T}Ax)^{T} \quad (\because x^{T}Ax \text{ = scalar}) \\ &= x^{t}A^{T}x \\ &= -x^{T}Ax \quad (\because A = -A^{T}) \end{align}\]
\[\therefore \ x^{T}Ax = -x^{T}Ax\]
\[\Rightarrow 2x^{T}Ax = 0\]
\[\therefore \ x^{T}Ax = 0\]

다음으로 \(\leftarrow\) 를 증명해 보도록 하겠습니다.

\[x^{T}A x = 0 \forall x\]
\[\Rightarrow \sum_{i}\sum_{j} x_{j}a_{ij}x_{i} = 0 \forall x\]
\[\Rightarrow x_{1}^{2}a_{11} + x_{1}a_{1}a_{12}x_{2} + \cdots = 0\]

위 식을 항상 만족하기 위해서는 \(x_{i}x_{j}\) 와 \(x_{j}x_{i}\) 가 소거가 되어야 합니다. 따라서 \(a_{ij} = -a_{ji}\) 가 되어야 소거가 됩니다.
남은 항은 \(x_{i}^{2}a_{ii} + \cdots\) 가 됩니다. 이 항은 \(a_{ii} = 0\) 을 만족해야 모두 소거 될 수 있습니다.
따라서 다음 두 조건인 \(a_{ij} = -a_{ji}\) 와 \(a_{ii} = 0\) 조건을 모두 만족해야 전제 조건인 \(x^{T}Ax = 0\) 을 만족할 수 있음을 확인하였습니다. 그리고 \(a_{ij} = -a_{ji}\) 와 \(a_{ii} = 0\) 조건은 바로 skew-symmetric matrix의 정의입니다.

선형대수학 글 목차