차원 정리 및 Rank

## 차원 정리

차원 정리는 다음과 같이 이뤄진다

행렬의 개념으로 먼저 보자. 행렬 A는 mxn 행렬이라고 할 때 다음과 같은 성질을 만족한다.

$$ dim \ Ker \ A + dim \ Im \ A \ = n $$

따라서 이와 같은 정리르 통해 다음과 같은 사항을 확인할 수 있다.

• m < n이면 단사는 될 수가 없다. ( 왜냐하면 Im A는 m 차원 공간의 일부이므로 dim Im A <=  m이다. 여기서 m < n이 되면 dim Im A < n 이 되어 차원 정리에 따라 dim Ker A > 0이 되기 때문이다.)
• m > n이면 전사는 될 수가 없다. 왜나하면 차원은 0 이상이므로 Ker A에 대해서도 dim Ker A > 0, 그러므로 차원 정리에 따라 dim A <= n. 여기서 m > n 이 되면 dim Im A < m 이 된다.

---

전, 단사에 대해서 헷갈릴까봐 https://thrillfighter.tistory.com/346 사이트를 참고하여 정리한다.

전사

단사

전단사

---

 

## 선형 독립 & 선형 종속

선형 종속(Linear Dependence) : 선형 종속은 적어도 한개의 벡터들이 나머지 벡터들의 일차 결합으로써 표현될 수 있다면 \( R^{n} \)의 벡터들은 일차 종속이라고 한다. 즉 식으로 나타내면

$$ a_1 x_1 + a_2 x_2 + \ldots +a_n x_n \neq 0 $$

일 때 선형 종속이라고 한다. 이와 반대로 선형 독립은 다음과 같은 식을 따른다.

$$ a_1 x_1 + a_2 x_2 + \ldots +a_n x_n = 0 $$

간단한 예시를 통해서 증명을 할 수 있다.

선형 독립과 선형 종속

예시 첫번째에서 위 값들이 선형 독립임을 증명하려면 다음과 같은 과정을 거친다.

\( \alpha + \beta =0\) 이 나온 이유는 1번째 열의 전개이다. \( \alpha \times 1 + \beta \times 1 + \gamma \times 0 = 0 \) 으로 계산되어서 독립임을 증명한다.

두번째 예시에선 첫번째 벡터에서 스칼라배를 했을 때 두번째 벡터가 나옴을 증명하면 된다. 따라서 k = 2 일 때 두번째 벡터가 되므로 선형 종속이다.

세번째 예시도 마찬가지로 REF(Row echelon Form matrix) 형태에서 풀이를 진행했을 때 모두 해가 0이므로 선형독립이 증명된다.

여기서 기억해야할 점은 기저(biasis)랑 다르다는 점이다.

W가 \( R^{n} \)의 부분공간일 때 W의 벡터 집합들이 일차 독립이면 이는 W의 기저라고 정의한다.

즉, 선형 독립이 더 큰 개념이고 기저가 그 하위 개념으로 보면 된다. (기저 \( \in \) 선형 독립)

하나의 예로 \( e_1 = (1,0,0)^T 와 e_2 = (0,1,0)^T \)는 선형독립이지만 \( (e_1 , e_2 \)는 기저가 아니다. 왜냐하면 scalar a,b에 대해서 \( ae_1 + be_2 \)로 쓸 수 없는 벡터가 있기 때문이다.

이렇게 부분공간의 어떤 기저에서 벡터들의 수를 부분공간의 차원(=기저의 개수)라고 한다.

 

## Rank

A를 mxn matrix라고 할 때 A의 행공간은 A의 행에 의해 생성된 \( R^{n} \)의 부분공간이다. 여기서 행공간의 차원을 A의 Rank라고 정의한다. 그리고 열공간은 치역이다.

간단한 예시로 Rank를 구해보자

이를 설명하면 A 행렬에 대해서 기본행 연산을 통해 Row Echelon Form matrix로 만든다. 그 이후 0이 아닌 행은 제외하고 나머지의 행들이 기저이다. 그리고 이러한 기저들의 차원은 2 이므로 따라서 Rank(A) = 2 이다.

그리고 열기저는 \( A^{T} \) 에 대해서 같은 방식으로 계산하여 도출한다.

이렇게 행기저와 열기저를 구하였는데 같은 값이 나왔다. 이는 사실 m x n 행렬일 때 A의 행공간과 열공간은 같은 차원을 갖는다. 그리고 다음과 같은 성질을 갖는다.

$$ dim\ Ker \ A + rank \ A = n $$

위의 차원 정리와 비교해서 보면 이해하기가 쉬울 것이다.

또 다른 Rank의 기본 성질에 대해서 알아보겠다.

mxn matrix A에 대해서 정칙행렬 P를 곱한다해도 Rank의 값은 변하지 않는다. 즉

$$ rank(PA) = rank \ A $$

$$ rank(AQ) = rank \ A $$

라는 것이다. 정칙행렬은 차원의 변화를 만들지 않기 때문에 위와 같은 성질이 유지되는 것이다.

이를 일반행렬(정칙행렬이 아니어도 됨) A, B에 대해서 확장하면 다음과 같은 성질을 만족한다.

$$ rank(AB) \leq rank \ A $$

$$ rank(BA) \leq rank \ B $$

rank(AB)는 원래의 전 공간 U를 A로 옮긴 이동점을 V라 하고 V를 B로 옮긴 이동점 W의 차원을 말하기 때문이다. 이러한 이유로 이미 rank A 차원이 되버린 V는 그 후 어떤 B로 변환을 하여도 rank A의 차원보다 커질 수 없다.

 

## bottleneck 형의 분해

A의 rank r 에 대응하는 형태로 A를 두 행렬의 곱으로 분해할 수 있다. 즉 \( A=BC \) 형태로 할 수 있는건데

이 때 B의 컬럼은 r 이 되야하고, C의 row는 r 이 되어야한다.

예를 들면 A의 rank가 2인 경우의 행렬을 봐보자

이렇게 column이 r이고, row가 r인 두 행렬의 곱으로 이뤄진다.

극단적인 경우 rank=1 일 때의 경우를 보자

이 때는 column vector와 row vector의 곱으로 이뤄진다.

이는 y = Ax 라는 변환 도중에 z = Cx, y = Bz 처럼 중간에 차원을 축소했다가 확장하는 과정이 존재하는 것이다. 즉, mxn matrix A에서 z = Cx 가 들어가면 n 차원 벡터 x를 r 차원 z로 변환(축소) 시키는 것이고 이렇게 축소한 차원 r을 가지는 z를 다시 m차원 y로 확장하는 과정(y = Bz)이 이뤄지는 것이다.

이러한 차원을 축소하였다가 확장하는 것을 bottleneck이라고 한다. 이는 많이 나오는 개념이므로 알아두는 것이 좋다.

 

 

이제 Rank에 대한 설명을 적었으니 실제 행렬에서 Rank를 구하는 법을 알아보겠다.

다음 포스팅을 보면 된다.