(멀티플 뷰 지오메트리) Lecture 8. Absolute Pose Estimation from Points or Lines

Multiple View Geometry 글 목차

참조 : https://youtu.be/C5L7LnNL4oo?list=PLxg0CGqViygP47ERvqHw_v7FVnUovJeaz
참조 : https://youtu.be/8Nh1UeuD9-k?list=PLxg0CGqViygP47ERvqHw_v7FVnUovJeaz
참조 : https://youtu.be/9peph2zvSyY?list=PLxg0CGqViygP47ERvqHw_v7FVnUovJeaz
참조 : Multiple View Geometry in Computer Vision

Lecture 8에서는 Camera Pose Estimation 문제를 풀기 위한 PnP(Perspective-n-point) 문제를 정의하고 카메라의 calibration 정보를 사용하는 경우와 그렇지 않은 경우에 대하여 Pose Estimation을 하는 방법에 대하여 알아보도록 하겠습니다.

Companion Matrix의 정의

참조 : https://youtu.be/N1aCvzFll6Q?t=1769
앞에서 설명한 Companion Matrix 또는 다차 방정식의 해를 구하는 방법을 통하여 4차 방정식을 풀면 4가지의 해를 구할 수 있습니다. 따라서 4가지의 해 중 실제 해에 해당하는 값을 구할 수 있어야 합니다.
예를 들면 위 그림과 같이 4가지 경우의 해를 구할 수 있기 때문에 추가적인 정보를 이용하여 특정 상황을 결정해 주어야 합니다. 이 경우 4번째 점인 \(X_{4}\) 에 대한 정보를 추가적으로 이용하여 depth를 구하였을 때에도 동일한 값이 나오는 경우를 선택하면 실제 해를 구할 수 있습니다. (또는 다른 추가적인 센서 값을 이용할 수도 있습니다.)

앞의 슬라이드 과정에서 unknown depth인 \(s_{s1}, s_{2}, s_{3}\) 를 구하면 카메라 좌표 기준의 3D 포인트의 좌표인 \(p'_{1}, p'_{2}, p'_{3}\) 를 알 수 있습니다.
현재 최종적으로 구하고자 하는 목표인 absolute orientation는 \(p'_{1}, p'_{2}, p'_{3}\) 을 \(p_{1}, p_{2}, p_{3}\) 로 변환하기 위한 \((R, t)\) 값을 구하는 것이며 다음 식을 만족하는 \((R, t)\) 값을 구하는 것이 목표가 됩니다.

\[\text{argmin}_{R, t} \sum_{i=1}^{i=n} \Vert p_{i} - (Rp_{i} + t) \Vert\]

이 때, \(n \ge 3\) 을 만족해야 문제를 풀 수 있는 조건이 됩니다.

먼저 위 슬라이드의 식과 같이 \(p_{i}\) 와 \(p'_{i}\) 각각의 중앙점인 centroid인 \(\bar{p}_{i}, \bar{p}'_{i}\) 를 평균값을 이용하여 구합니다.
그 다음 \(r_{i} = p_{i} - \bar{p}_{i}\) 와 \(r'_{i} = p'_{i} - \bar{p}'_{i}\) 를 구합니다. 이 값은 기존 각 좌표의 기준점이 각 카메라의 원점인 상태를 좌표들의 중앙점으로 바꾼 것입니다. 이 치환식의 정의에 따르면 \(r_{i}, r'_{i}\) 각각은 각 점 \(p_{i}, p'_{i}\) 가 centroid인 \(\bar{p}_{i}, \bar{p}'_{i}\) 로 부터 얼만큼 떨어져 있는 지 나타냅니다.
이와 같이 사용하는 이유는 두 점군들의 관계를 \(t\) 와 상관없이 \(R\) 로만 나타낼 수 있기 때문입니다. 기존에는 하나의 원점을 기준으로 두 점군의 좌표 값이 나타내어졌다면 centroid를 이용하면 각 점군이 centroid로 부터 얼만큼 떨어져 있는 지 나타내기 때문에 centroid 기준의 좌표계를 가지게 됩니다. 따라서 각 점의 좌표는 centroid 와의 거리 차이를 나타내는 벡터가 되고 각 벡터 \(r_{i}, r'_{i}\) 의 회전 차이인 \(R\) 만 구하면 되는 문제로 바뀌게 됩니다. 따라서 이와 같은 방법을 사용합니다.

Roatation 행렬 \(R\) 을 구하기 위하여 먼저 다음과 같은 행렬 \(M\) 을 먼저 계산합니다. \(M\) 은 sum of outer product를 나타내며 각 \(r_{i}, r'_{i}\) 의 각 좌표축 별 상관관계를 나타냅니다.

\[M = \sum_{i=1}^{n} r'_{i}r_{i}^{T}\]

만약 \(r'_{i} = (x'_{i}, y'_{i}, z'_{i})^{T}\), \(r_{i} = (x_{i}, y_{i}, z_{i})^{T}\) 라고 하면 \(i\) 인덱스에 대한 행렬 연산의 결과는 다음과 같습니다.

\[r'_{i}r_{i}^{T} = \begin{bmatrix} x'_{i}x_{i} & x'_{i}y_{i} & x'_{i}z_{i} \\ y'_{i}x_{i} & y'_{i}y_{i} & y'_{i}z_{i} \\ z'_{i}x_{i} & z'_{i}y_{i} & z'_{i}z_{i} \end{bmatrix}\]

위 행렬은 두 벡터의 correlation을 의미합니다. 각 \(i\) 번 째 벡터 간의 연산을 outer product한 다음 생성된 행렬을 element-wise sum을 하면 원하는 행렬인 \(M\) 을 얻을 수 있습니다. \(M\) 은 두 점군의 전체 correlation의 누적된 정보를 의미합니다. 직관적으로 \(M\) 은 변환된 점이 상대 위치와 방향 측면에서 원래 점과 어떻게 관련되어 있는지 나타냅니다. 행렬 \(M\) 의 의미를 정리하면 다음과 같습니다.

행렬 \(M\) 의 대각 요소는 해당 원래 점을 기준으로 변환된 점의 \(x, y, z\) 구성 요소의 분산을 나타냅니다.
행렬 \(M\) 의 비대각 요소는 변환된 점의 \(x, y, z\) 구성 요소와 해당 원래 점 사이의 공분산을 나타냅니다.

행렬 \(M\) 에 의해 정의된 correlation 정보는 위 슬라이드의 행렬 \(Q\) 를 통하여 normalized 하여 두 점 군을 가장 잘 정렬하는 회전 행렬 \(R\) 을 유도하는 데 사용 됩니다.
아래 내용 전개 시, 특이값 분해 내용이 사용되므로 관련 내용은 아래 링크를 참조하시면 됩니다.
- 특잇값 분해

\[M = U \Sigma V^{T} \text{, Singular Value Decomposition}\]
\[Q = M^{T}M = (U \Sigma V^{T})^{T}(U \Sigma V^{T}) = (V \Sigma^{T} U^{T})(U \Sigma V^{T}) = V(\Sigma^{2})V^{T}\]
\[Q^{-1/2} = V(\Sigma^{2})V^{T} = V\Sigma^{-1}V^{T}\]
\[MQ^{-1/2} = (U \Sigma V^{T})(V\Sigma^{-1}V^{T}) = U(\Sigma\Sigma^{-1})V^{T} = UV^{T}\]

마지막으로 구한 \(UV^{T}\) 는 orthogonal matrix이며 행렬 \(M\) 의 rotation을 의미합니다. 위 식에서 \(M\) 에 \(Q^{-1/2}\) 를 곱함으로써 scaling 및 shearing 요소들을 제거하여 순수하게 rotation 정보만을 얻을 수 있었습니다.
행렬 \(Q = (M^{T}M)^{-1/2}\) 이기 때문에 normzalization을 위한 스케일 값만을 제거해주는 역할을 하는 것을 식을 통해서도 알 수 있습니다.

다음과 같이 특이값 분해의 본연의 성질을 시각화한 것을 살펴보면 앞의 설명을 이해하실 수 있을 것입니다.

따라서 지금까지 식의 전개 내용을 살펴보면 다음과 같습니다.
① 각 좌표를 centroid를 기준으로 centroid와의 거리 차이를 나타내는 벡터로 표현합니다.
② 두 점군의 벡터 \(r_{i}, r'_{i}\) 의 correlation을 나타내는 행렬 \(M\) 을 구합니다. \(M\) 은 rotation 정보 뿐 아니라 scaling, shearing 등의 정보 또한 포함하고 있습니다. 따라서 \(MQ^{-1/2} = M(M^{T}M)^{-1/2}\) 을 통해 Normalization을 적용합니다.
③ 순수한 rotation 정보만을 추출하기 위하여 \(MQ^{-1/2}\) 에 특이값 분해를 적용하여 rotation 정보를 추출합니다.

마지막 ③ 과정에서 특이값 분해 과정을 좀 더 자세하게 살펴보면 다음과 같습니다.

\[M = U \Sigma V^{T}\]
\[U \text{ : The columns of U represent the principal axes of the transformed point set in the transformed coordinate system.}\]
\[V \text{ : The columns of V represent the principal axes of the original point set in the original coordinate system.}\]
\[\Sigma \text{ : the variances of the transformed points along these principal axes.}\]

따라서 \(M = U \Sigma V^{T}\) 는 ① \(V^{T}\) 를 통하여 original coordinate system의 principal axes 성분을 제거하여 normalized space로 principal axes를 변경하고 ② normalized space 에서 \(\Sigma\) 만큼 scale을 조정한 뒤 ③ 최종적으로 변환하고자 하는 transformed coordinate system으로 principal axes를 변환하는 과정입니다.
이 때, 필요한 정보는 scale이 제거된 순수한 rotation 정보인 \(UV^{T}\) 고 이는 다음과 같은 전개로 구할 수 있음을 확인하였습니다.

\[R = MQ^{-1/2} = (U \Sigma V^{T})(V \Sigma^{-1} V^{T}) = UV^{T}\]

즉, \(UV^{T}\) 는 original coordinate system을 normalized coordinate systme으로 변환하고 다시 transformed coordinate system으로 변환하기 때문에 순수한 의미의 rotation 행렬이라고 볼 수 있습니다.

위 식에서 두 orthogonal matrix의 곱으로 \(R\) 을 표현하였기 때문에, \(RR^{T} = I\) 이고 determinant 또한 1임을 알 수 있습니다.

위 슬라이드에서는 이전 슬라이드 식 전개를 위해 \(Q\) 의 고유값 분해 시 사용 방법을 기술하였습니다. 앞에서는 고유값 분해의 개선 버전인 특이값 분해를 이용하여 설명하였으므로 같은 논리로 생각하셔도 됩니다.

추가적으로 위 슬라이드의 고유값 분해 성질을 이용하여서도 앞에서 구한 \(R\) 이 rotation 행렬의 요소인 \(R^{T}R = I\) 인 것과 \(\text{det}(R) = 1\) 임을 보일 수 있습니다.

\(RR^{T} = I\)

\[R^T R = (M Q^{(-1/2)})^T (M Q^{(-1/2)}) = (Q^{(-1/2)})^T M^T M Q^{(-1/2)} = (Q^{(-1/2)})^T Q Q^{(-1/2)} = (Q^{(-1/2)})^T Q^{(1/2)} Q^{(1/2)} Q^{(-1/2)}\]

다음 성질들을 이용하여 식을 전개해 보도록 하겠습니다.
\[Q^{(-1/2)} = V \Lambda^{(-1/2)} V^T, \text{where } \Lambda^{(-1/2)} \text{ is a diagonal matrix with the square roots of the eigenvalues.}\]
\[Q^{(1/2)} = V \Lambda^{(1/2)} V^T, \text{where } \Lambda^{(1/2)} \text{ is a diagonal matrix with the square roots of the eigenvalues.}\]
\[\Lambda^{(-1/2)} ,\Lambda^{(1/2)} \text{ are reciprocals of each other.}\]
\[V^T V = V V^T = I\]

\[\therefore \begin{align} (Q^{(-1/2)})^T Q^{(1/2)} Q^{(1/2)} Q^{(-1/2)} &= (V \Lambda^{(-1/2)} V^T)^T (V \Lambda^{(1/2)} V^T) (V \Lambda^{(1/2)} V^T) (V \Lambda^{(-1/2)} V^T) \\ &= V \Lambda^{(-1/2)} V^T V \Lambda^{(1/2)} V^T V \Lambda^{(1/2)} V^T V \Lambda^{(-1/2)} V^T \\ &= VV^{T} = I \end{align}\]

\(\text{det}(R) = 1\)

\[\text{det}(R) = \text{det}(M Q^{(-1/2)}) = \text{det}(M) \text{det}(Q^{(-1/2)}) = \text{det}(M) \text{det}(V \Lambda^{(-1/2)} V^T) = \text{det}(M) \text{det}(V) \text{det}(\Lambda^{(-1/2)}) \text{det}(V^T) = \text{det}(M)\text{det}(\Lambda^{(-1/2)})\]

식의 전개를 위해 \(\Lambda^{(-1/2)}\) 를 살펴보겠습니다.

\[\Lambda^{(-1/2)} = \text{diag}(1/\text{sqrt}(\lambda_{1}), 1/\text{sqrt}(\lambda_{2}), \cdots , 1/\text{sqrt}(\lambda_{1n}))\]
\[\begin{align} \text{det}(\Lambda^{(-1/2)}) &= 1/\text{sqrt}(\lambda_{1}) * 1/\text{sqrt}(\lambda_{2}) * \cdots * 1/\text{sqrt}(\lambda_{1n}) \\ &= 1/\text{sqrt}(\lambda_{1} * \lambda_{2} * \cdots * \lambda_{n}) \\ &= 1/\text{sqrt}(\text{det}(\Lambda)) \\ &= 1/\text{sqrt}(\text{det}(Q)) \end{align}\]

따라서 앞의 식을 다음과 같이 전개할 수 있습니다.

\[\begin{align} \text{det}(R) &= \cdots \\ &= \text{det}(M)\text{det}(\Lambda^{(-1/2)}) \\ &= \text{det}(M) / \text{sqrt}(\text{det}(Q)) \\ &= \text{det}(M) / \text{sqrt}(\text{det}(M^{T})\text{det}(M)) \\ &= \text{det}(M)/\text{det}(M) = 1 \end{align}\]

따라서 \(\text{det}(R) = 1\) 임을 확인할 수 있습니다.

Multiple View Geometry 글 목차