Eigen value, Eigen Vector

## Define

일반적인 square matrix A에 대해서 다음과 같은 성질을 만족한다고 하자

$$ Ap = \lambda p \, \ \ \ \ \ \ p \neq o $$

이러한 성질을 만족하게 하는 수  \( \lambda \) 를 eigen value , 라고 하고 벡터 p는 eigen vector라고 한다.

Geometric Definition을 알아보자.Eigen Value의 기하학적 의미는 matrix A를 곱해도 크기는 변하지만 방향은 유지된다라는 것이다. 

 

## 성질

\( \lambda \) , p 가 각각 eigen value, eigen vector라고 하고, \( \alpha \)를 임의의 scalar 값이라고 해보자

• A가 eigen value 0을 가지는 것과 특이행렬(Singular matrix)는 동치이다. 즉, A가 eigen value 0을 가지지 않으면 A가 Non-singular matrix  로 행렬식 0 을 가지지 않는다.
• 식 \( \alpha \neq 0 \)에 대해 \( \alpha p \)는 A의 eigen vector 이다. 
• 같은 eigen value \( \lambda \) 의 eigen vector q를 가지고 오면 p + q도 A의 eigen vector이다.
• p는 \( \alpha A \)의 eigen vector이다. (eigen value = \( \alpha \lambda \) )
• p는 A + \(\alpha I  \) 의 eigen vector이다. eigen value = \( \lambda + \alpha \)
• p는 \( A^{k} \)의 eigen vector 이다. (eigen value = \( \lambda^{k} \) 
• inverse matrix가 존재한다고 가정 하에 A^{-1} 의 eigen vector는 p 이다. eigen value는 \( 1/ \lambda \)
• 행렬 \( diag( a_1 , ... , a_n ) \) 의 eigen value는 \( a_1 .. , a_n , e_1, ..., e_n \) 이 대응하는 eigen vector다. 여기서 \( e_i \)는 대각 성분만 1이고 나머지는 0인 즉, I 이다.
• 다른 eigen value 들에 대응하는 eigen vector는 linear independency 하다.

마지막 문장에 대해서 조금 더 설명을 덧붙이겠다. 일단 이를 이해하기 위해선 eigen value가 다르면 eigen vector는 서로 다른 방향을 가진다는 것에 주목해야한다. 다시 한 번 말하면 square matrix A의 다른 eigen value  \( \lambda \)에 대응하는 eigen vector p,q에서 \( q = \alpha p \)는 절대로 될 수가 없다. 사실 이는 당연한 사실이다. 
이렇게 eigen value가 두개일 경우를 서로 비교했는데 이에 대해 숫자를 늘려도 마찬가지이다.nxn matrix A 가 \( \lambda_1 , ... , \lambda_n \)이 n 개의 서로 다른 eigen value를 가진다면 eigen vector \( p_1 , ... , p_n \) 을 나열한 matrix P = \( (p_1 , ... ,p_n ) \) 은 Non-singular(regular) 이고, \( P^{-1}AP = diag(\lambda_1 , ... , \lambda_n \) 으로 대각화 할 수 있다. 이 말이 즉, eigen value가 다르면 eigen vector들은 선형독립이라는 것이다.

 

## Eigen Value의 계산

vector p가 n x n matrix A의 eigen vector이다(eigen value는 \( \lambda \) 라는 것은 \( \lambda I - A ) p = o \)와 같다.

그러나 이는 \( \lambda I - A )\) 가 특이행렬이 되는 것이다. 그러면 이러한 특이행렬의 det = 0 이 된다. 반대로 \( \lambda I - A \)가 특이행렬이고 이 행렬이 영행렬이 아닌데  \( \lambda I - A \)를 곱하면 영행렬이 되버리는 vector 가 존재하는 것이다.

이러한 명제로 \( \phi_A ( \lambda ) = det( \lambda I - A ) \) 가 0이 되는 것과 \( \lambda \)가 A의 eigen value 인 것과 동치이다. 따라서 위 식 \( \phi_A (\lambda) \)는 특성다항식(characteristic polynomial) 이라고 부르고 \( \phi_A (\lambda) \) = 0 을 특성 방정식(characteristic equation) 이라고 한다.

예를 봐보자.

일단 대각행렬 A를 봐보자. 

$$ A = \begin{bmatrix} 5 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & 8 \end{bmatrix} $$

의 경우 characteristic equation을 풀면

$$ \phi_A (\lambda) = \begin{bmatrix} \lambda - 5 & 0 & 0 \\ 0 & \lambda - 3 & 0 \\ 0 & 0 & \lambda - 8 \end{bmatrix} = (\lambda - 5)(\lambda - 3)(\lambda-8) = 0 $$

으로 eigen value는 각각 5,3,8 이 나온다. 따라서 앞서 언급한 diag matrix의 eigen value는 대각성분 그 자체가 증명이 된다.

만약에 같은 대각행렬인데 다음과 같은 경우면 어떻게 할까?

$$ A = \begin{bmatrix} 5 & 0 & 0 \\ 0 & 3 & 0 \\ 0 & 0 & 5 \end{bmatrix} $$

이 같은 경우는 중복해가 나와서 eigen value는 3개가 아닌 2개가 나온다. 하지만 이러한 경우 eigen value에 대해 문제가 생기진 않지만 eigen vector는 달라질 수 있다. 이는 추후에 알아보겠다.

다음으로 triangular matrix에 대해 알아보자

사실 triangular matrix도 diag matrix와 동일하므로 eigen value도 동일하게 대각성분이 된다.

이러한 방법으로 일반 square matrix를 풀면(not det = 0)

$$ A = \begin{bmatrix} 3 & -2 \\ 1 & 0 \end{bmatrix} $$

$$  \phi_A (\lambda) = \begin{bmatrix} \lambda-3 & 2 \\ -1 & \lambda \end{bmatrix}  = ( \lambda-1) (\lambda - 2)$$

처럼 풀 수 있다.

마지막으로 eigen value가 복소수일 경우이다.

$$ A = \begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix} $$

이면 \( \lambda^2 +1 \) 식이 도출된다. 이는 \( \lambda \)는 i (복소수)가 나오게 된다. 이처럼 실수로 이루어진 matrix이더라도 eigen value와 eigen vector는 복소수가 나올 수 있다.

 

위와 같은 특징들을 종합하였을 때 matrix가 n x n 일 때 eigen value의 개수는 n보다 작거나 같다(작은 이유 : 중복해가 존재)

### Cayley-Hamilton theorem

Cayley-Hamilton theorem은 결론부터 말하자면 \( \phi_A (A) = O \) 이다. 이 때 A는 square matrix이다. 이를 예를 들어 한 번 풀어보자

$$ A = \begin{pmatrix} 2 & -1 \\ 4 & 3 \end{pmatrix} $$

$$ \phi_A(\lambda) = det \begin{pmatrix} \lambda-2 & 1 \\ -4 & \lambda -3 \end{pmatrix} = \lambda^2 - 5 \lambda + 10 $$

$$ \phi_A (A) =\begin{pmatrix} 2 & -1 \\ 4 & 3 \end{pmatrix} \begin{pmatrix} 2 & -1 \\ 4 & 3 \end{pmatrix} -5 \begin{pmatrix} 2 & -1 \\ 4 & 3 \end{pmatrix}+ 10 \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix} $$

$$ = \begin{pmatrix} 0 & -5 \\ 20 & 5 \end{pmatrix} + \begin{pmatrix} -10 & 5 \\ -20 & -15 \end{pmatrix}  + \begin{pmatrix} 10 & 0 \\ 0 & 10 \end{pmatrix} = O $$

처럼 증명이 된다. 간단하게 말로 풀어서 쓰면 \( \phi ( \lambda) \) 자리에 A를 넣으면서 정리한 \( \lambda \) 식에 A 행렬을 대입한 것이다. 이 이론은 대각행렬 뿐만 아니라 대각화가 가능한 행렬에서도 모두 증명이 된다.

이 Cayley-Hamilton theorem은 다음과 같은 경우에 쓰인다. 예를 들어

\( A^3 - A + 2I = O \)을 알고 \( A^7 \)을 알고 싶은 상태라고 하자. 그러면 \( A^3 = A - 2I \) 이므로 3제곱을 묶어내면 \( A^7 = A^3 A^3 A \) 가 되고 이는 \( (A-2I)(A-2I)A = (A^2 -4A + 4I) A = A^3 - 4A^2 + 4A = (A-2I)-4A^2 + 4A = -4A^2 + 5A - 2I \) 가 된다. 사실 지금까지 보면서 "뭐야 이거 그냥 방정식 아냐? " 라고 생각할 수 있는데 내가 생각하기에도 그렇다. 사실 간단한 정리이긴 한데 행렬의 개념을 적용한 것이라고 생각하면 된다. 

 

## eigen vector의 계산

지금까지 eigen value의 계산에 대해 알아봤다. 다음으로 eigen vector의 계산 방법에 대해 알아보자. 예시를 들어보자

$$ A = \begin{pmatrix} 3 & -2 \\ 1 & 0 \end{pmatrix} $$ 

행렬일 때 eigen value는 1,2 였다. 여기서 eigen vector \( p = (p_1 , p_2 )^T \) 로 두고 Ap = \lambda p 를 만족시키는 \( p_1 , p_2 \) 를 찾는다.

eigen value \( \lambda = 1 \) 일 때

$$ A = \begin{pmatrix} 3 & -2 \\ 1 & 0 \end{pmatrix} \begin{pmatrix} p_1 \\ p_2 \end{pmatrix}=  \begin{pmatrix}  p_1 \\ p_2 \end{pmatrix} $$ 

이렇게 되고 여기서 이를 풀면 \( p_1 = p_2 \) 가 된다. 이렇게 되면 무조건 임의의 수 t 에 대해 p = t(1,1)^T 형태가 나와야 된다. 그러면 eigen value가 1일 때 eigen vector는 (1,1) 이 되는 것이다.

그러면 eigen value가 2 일 떄도 마찬가지로

$$ A = \begin{pmatrix} 3 & -2 \\ 1 & 0 \end{pmatrix} \begin{pmatrix} p_1 \\ p_2 \end{pmatrix} = 2 \begin{pmatrix}  p_1 \\ p_2 \end{pmatrix} $$ 

가 되고 이를 풀면 \( p_1 = 2p_2 \)가 된다. 그러면 이를 풀면 eigen vector \(p = t(2,1)^T \) 가 되고 eigen vector는 (2,1)이 된다.

다음으로 3x3 matrix 경우를 보자

$$ A = \begin{pmatrix} 6 & -3 & 5 \\ -1 & 4 & -5 \\ -3 & 3 &-4 \end{pmatrix} $$

라는 행렬이 있을 때 eigen value를 계산하면 \( \lambda = 1,2,3 \) 이 나온다. 

그럼 여기서 위와 동일하게 \( \lambda = 3 \) 일 때 eigen vector를 구해보자

이를 위와 동일한 방법으로 계산하였을 때

\begin{cases} 3p_1 - 3p_2 + 5p_3 = 0 \\ -p_1 + p_2 - 5p_3 = 0 \\ -3p_1 + 3p_2 -7p_3 \end{cases}

가 된다. 그러면 이는 \( p_1 = p_2 \) 가 되고 \( p_3 = 0 \) 이 된다. 그러면 결국 eigen vector는 (1,1,0) 이 된다. 다른 eigen value 값에 대해서도 \( \lambda = 2 \) 일 때,  eigen vector는 (1,3,1) 이 되고, eigen value가 1일 떄 eigen vector는 (0,5,3) 이 됨을 알 수 있다.

다음으로 중복 eigen value 가 나올 경우이다.

다음 예시는 eigen value가 3(중복해),2 가 나오는 경우이다.

$$ A = \begin{pmatrix} 3 & -1 & 1 \\ 0 & 2 & 1 \\ 0 & 0 & 3 \end{pmatrix} $$

사실 이 matrix에 그 전과 동일한 방법으로 계산을 하면 eigen value가 2 일 떈 eigen vector가 (1,1,0) 으로 나온다. 그리고 eigen value가 3일 때 (고유해) eigen vector는 \( \beta (1,0,0)^T + \gamma (0,1,1)^T \)로 구해진다. 이렇게 나온 두 eigen vector는 eigen value 3에 대해 linear independent 하다. 

eigen vector들을 모두 합쳐서 P라는 matrix를 만들어보면

$$ P = \begin{pmatrix} 1 & 1 & 0 \\ 1 & 0 & 1 \\ 0 & 0 & 1 \end{pmatrix} $$

가 되고 이는 square matrix이고 대각화가 가능해진다. 따라서 중복해를 가지고 있어도 linear independent한 eigen vector가 있으면 (즉, 중복이 2개일 때 2개의 eigen vector가 나오면) eigen vector는 어떠한 문제점도 발생하지 않고, 대각화도 가능하게 된다.

 

그러면 만약에 중복해를 갖고 있지만 중복해를 가지는 eigen value의 eigen vector의 개수가 중복인 개수만큼 나오지 않는 경우는 어떠할까? 예를 들어 보자

$$ A = \begin{pmatrix} 3 & -1 & 1 \\ 0 & 2 & 0 \\ 0 & 0 & 3 \end{pmatrix} $$

이라는 A matrix는 eigen value는 각각 2,3(중복) 이 나온다. 이 때 eigen value가 2 일 때 eigen vector는 (1,1,0) 이 나온다. 문제가 없는 상황이다. 그럼 eigen value가 3일 때의 eigen vector를 구해보자. 

이 때 eigen vector는 \( ( \beta ,0, 0 )^T \) 이 나온다. 이는 즉, eigen vector가 하나밖에 안나온다는 것이다. 그러면 이는 대각화가 불가능 한 경우가 된다. 

이러한 경우는 추후에 다루겠다. 하지만 len(eigen value) == len(eigen vector) 는 항상 True 가 아니라는 점을 명심해야한다.