혼동하기 쉬운 점과 요약
토론 1. 탐침은 표현의 모든 칸을 보나
칸 두 개짜리 표현 (3, 1), (3.8, 0.4), (1.4, 2.2)에 길이 1인 탐침 방향 (0.6, 0.8)을 댄다. 탐침은 칸 두 개를 다 보는가?

탐침 방향 (0.6, 0.8)로 표현 (3, 1)의 점수를 내 보면요?

0.6 × 3 + 0.8 × 1 = 2.6이요. 두 칸에 다 무게를 곱해서 더하니까 탐침은 칸 두 개를 다 보는 거죠. 어느 칸이 바뀌어도 점수가 바뀔 테고요.

그럼 (3.8, 0.4)는요? 두 칸이 다 바뀌었어요.

2.28 + 0.32 = 2.6. 어, 또 2.6이에요. (1.4, 2.2)도 0.84 + 1.76 = 2.6이에요. 칸 값이 이렇게 다른데요.

세 표현끼리 빼 보자. (3.8, 0.4) − (3, 1) = (0.8, −0.6)이고, (1.4, 2.2) − (3, 1) = (−1.6, 1.2)는 그 −2배야. 둘 다 (0.6, 0.8)과 내적이 0이야.

그러면 탐침 점수가 같은 표현들은 평면에서 어떻게 놓여 있을까요?

탐침 방향에 직각인 한 줄 위에 늘어서 있어요. 그 줄을 따라 움직이면 칸 값은 둘 다 바뀌는데 점수는 그대로고요.

그러니까 탐침은 칸을 다 쓰긴 하지만 읽는 건 (0.6, 0.8) 방향의 좌표 하나뿐이야. 그 방향에 직각인 부분은 아무리 바뀌어도 탐침에는 안 보여. 64칸이면 나머지 63개 방향이 전부 버려지는 거고.
토론 2. 밤마다 20%씩 빠져나가는 대여소는 결국 비나
문제 10의 두 대여소에서 자전거 300대가 모두 공원 대여소 A 에 있다. A 에서는 밤마다 20%가 빠져나간다. A 는 결국 비는가?

문제 10의 두 대여소에서 이번엔 300대가 모두 공원 대여소 A에 있다고 해요. A에서는 밤마다 20%가 빠져나가요. A는 결국 빌까요?

밤마다 0.8배니까 300 × 0.8ⁿ이고, 0.8ⁿ은 0으로 가니까 결국 비겠죠. 첫날 240, 둘째 날 192…

잠깐, B로 간 자전거 중에 10%는 A로 돌아오잖아. 첫날 밤엔 B가 0대라 돌아오는 게 없지만 둘째 날부터는 있어.

아, 그러네. 다시 하면 첫날 (240, 60), 둘째 날 A가 240 × 0.8 + 60 × 0.1 = 198이라 (198, 102)야. 192보다 많아.

A에서 나가는 대수와 들어오는 대수는 밤이 갈수록 어떻게 될까요?

나가는 건 A가 줄수록 줄고, 들어오는 건 B가 늘수록 늘어요. 그러다 둘이 같아지는 데서 멈추겠네요. 0.2A = 0.1B, 문제 10에서 찾은 (100, 200)이요.

(300, 0) = (100, 200) + 200(1, −1)이니까, 밤마다 200 × 0.7ⁿ만 사라지고 (100, 200)은 남아.

B에서 A로 돌아오는 비율이 0이면요?

그럼 정말 0.8ⁿ으로 줄어서 A가 비어요. 고윳값 1인 배치가 (0, 300)이 되니까요.

빠져나가기만 하는 게 아니면 바닥나지 않는 거네요. 오가는 대수가 같아지는 배치, 고윳값 1인 고유벡터로 모여요.
토론 3. 1에 가까운 배율은 여러 번 곱해도 1 근처에 머무나
하루에 1%씩 나아지는 것과 1%씩 나빠지는 것을 100일 이어 가면 각각 처음의 몇 배가 되는가?

매일 1%씩 기록이 느는 사람과 1%씩 주는 사람이 있어요. 100일 뒤에는 각각 처음의 몇 배쯤일까요?

1.01이나 0.99는 1에서 0.01씩만 떨어져 있으니까… 100일이면 0.01이 100번 쌓여서 2배와 0배쯤 아닐까요? 1을 사이에 두고 대칭으로요.

바로 돌려 볼게. 1.01¹⁰⁰ = 2.705, 0.99¹⁰⁰ = 0.366이야. 0배는 아니고, 2배보다는 커.

대칭도 아니네. 2.705는 1보다 1.7 크고 0.366은 0.634 작아. 곱셈을 덧셈처럼 쌓았나 봐.

곱셈을 덧셈으로 바꿔 주는 게 있었죠. 로그를 씌우면요?

로그로 해 볼게요. 100 × ln 1.01 = 0.995, 100 × ln 0.99 = −1.005예요. 로그로는 거의 +1과 −1로 대칭이고, 되돌리면 e와 1/e쯤인 2.718과 0.368이요. 덧셈으로 쌓이는 건 로그 쪽이었어요.

그럼 1.15나 0.85처럼 1에서 조금 더 떨어지면요?

잠깐, 문제 12에서 20스텝에 1.15²⁰ = 16.4배, 0.85²⁰ = 0.039배였어요. 1.01도 1000번 곱하면 2만 배가 넘고요. 1에 가깝다고 몇 스텝 뒤에도 비슷한 게 아니네요. 거듭제곱이라 스텝이 쌓일수록 1에서 떨어진 만큼이 지수로 벌어져요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 바른 생각 | 나온 문제 |
|---|---|---|
| 좌표가 음수면 그 축으로는 적을 수 없다 | 기저면 어떤 신호든 하나뿐인 좌표로 적힌다. 좌표가 음수인 것은 그 축을 빼는 것일 뿐이다 | 문제 1 |
| 칸 수만큼 축을 고르면 기저다 | 어느 축도 나머지 축을 섞어 만들어지지 않아야(일차 독립) 기저다. 한 평면에 누운 세 축으로는 적을 수 없는 신호가 생긴다 | 문제 2 |
| 임베딩의 칸 하나에 뜻이 있다 | 기저를 돌려도 무게를 함께 돌리면 모델의 점수는 같다. 뜻은 칸이 아니라 방향에 있다 | 문제 3 |
| 축마다 내적으로 계수를 구하면 늘 맞다 | 축들이 서로 직교할 때만 맞다. 직교하지 않으면 다른 축의 성분까지 함께 센다 | 문제 5, 8 |
| 탐침은 표현의 모든 칸을 본다 | 탐침은 방향 하나로 사영한 좌표만 읽고 그 방향에 직각인 부분은 버린다 | 토론 1 |
| 직각인 두 성분을 더하면 전체 크기다 | 직각인 성분은 제곱해서 더한다(피타고라스) | 문제 7 |
| 좌표의 제곱합은 늘 신호의 제곱합이다 | 서로 직교하고 길이가 1인 축일 때만 같다. 길이가 1이 아니면 축 길이의 제곱을 곱하고, 직교가 아니면 교차 곱 항이 남는다 | 문제 8 |
| 칸이 많아도 내적은 양수 음수가 지워져 작게 머문다 | 내적의 표준편차는 √d 로 자란다. 그래서 어텐션 점수를 √d 로 나눈다 | 문제 9 |
| 한쪽으로만 빠져나가면 결국 바닥난다 | 오가는 대수가 같아지는 배치(고윳값 1인 고유벡터)로 모인다 | 토론 2 |
| n×n 행렬에는 방향이 그대로인 축이 n개 있다 | 돌리기는 실수 축이 없고 밀기는 모자랄 수 있다. 대칭 행렬이면 서로 직교하는 축 n개가 있다 | 문제 11 |
| 고윳값이 1보다 조금 크거나 작으면 몇 스텝 뒤에도 비슷하다 | 거듭제곱이라 1.15²⁰ = 16.4배, 0.85²⁰ = 0.039배로 격차가 커진다 | 토론 3 |
요약
같은 정보를 잃는 것 없이 다시 적으려면 일차 독립인 축을 칸 수만큼 고르면 되고, 그 축이 서로 직교하면 계수가 축마다 내적 한 번으로 따로 구해지며 길이가 1일 때는 제곱합도 좌표에서 바로 읽힌다. 축을 변환의 고유벡터로 고르면 그 변환까지 축마다 곱셈 하나가 되고, 흐림처럼 대칭인 변환에서는 고유벡터가 서로 직교해서 두 이점이 한 축 묶음에서 함께 온다.
- 기저: 어떤 신호든 하나뿐인 계수로 적게 해 주는 축의 묶음. 칸 세 개짜리 (3, 1, 2)는 칸 축으로 (3, 1, 2), 평균·기울기·굽음 축으로 (2, −0.5, 0.5)다.
- 직교 사영: 서로 직교하는 축에서 계수는 cⱼ = x·eⱼ / eⱼ·eⱼ. 축을 더해도 앞의 계수가 바뀌지 않는다.
- 파스발 등식: 서로 직교하고 길이가 1인 축에서는 좌표의 제곱합이 신호의 제곱합과 같다. 14 = 12 + 0.5 + 1.5. 축을 함께 돌려도 그대로이고, 비틀면 깨진다.
- 고유벡터: 변환을 걸어도 방향이 그대로이고 길이만 고윳값 λ배가 되는 축. 고유벡터를 기저로 쓰면 변환을 거듭 거는 일이 축마다 λ를 거듭 곱하는 일이 된다. 대칭 행렬의 고유벡터는 서로 직교한다.
- ML에서는 임베딩의 뜻이 칸이 아니라 방향에 있고, 선형 탐침은 방향 하나로의 사영이며, 어텐션 점수는 직교 변환에 변하지 않는 내적이고 √d 로 크기를 맞춘다. 순환 신경망의 그래디언트 폭발과 소실은 고윳값의 거듭제곱이다.
flowchart LR A["기저<br/>같은 신호를 다른 축으로"] --> B["직교 사영<br/>계수 = 내적"] B --> C["파스발 등식<br/>제곱합이 그대로"] A --> D["고유벡터<br/>변환이 섞지 않는 축"] C --> D
정리 연습문제
물음. 칸 세 개짜리 신호를 적으려고 축 세 개를 골랐다. 이 세 축이 기저가 되려면 무엇이 더 필요한가?
- [ ] 더 필요한 것은 없다. 칸 수만큼 골랐으니 기저다 〔틀림: 세 축이 한 평면에 누워 있으면 그 평면 밖으로 나간 신호는 적을 수 없다.〕
- [x] 어느 축도 나머지 두 축을 섞어 만들 수 없어야 한다 〔맞음: 일차 독립인 축 세 개면 어떤 신호든 하나뿐인 계수로 적힌다.〕
- [ ] 어떤 신호를 적어도 계수가 모두 양수로 나와야 한다 〔틀림: 계수가 음수인 것은 그 축 방향을 빼는 것일 뿐이라 기저인지와 상관없다.〕
물음. 축마다 신호와 내적을 한 번씩 해서 계수를 구했다. 이렇게 구한 계수가 맞으려면 축들이 어떤 관계여야 하는가?
- [ ] 기저이기만 하면 된다 〔틀림: 축끼리 비스듬하면 내적이 다른 축의 성분까지 함께 센다.〕
- [ ] 축의 길이가 모두 1이면 된다 〔틀림: 길이가 1이어도 축끼리 비스듬하면 다른 축의 성분이 섞여 들어온다.〕
- [x] 축들이 서로 직교해야 한다 〔맞음: 서로 직교하면 내적 하나가 그 축의 성분만 추출한다. 축을 하나 더 넣어도 앞에서 구한 계수는 그대로다.〕
물음. 어떤 기저로 적은 좌표의 제곱합이 신호의 제곱합과 같았다. 이런 일이 언제나 일어나는 기저는 어떤 기저인가?
- [x] 축들이 서로 직교하고 길이가 모두 1인 기저 〔맞음: 이것이 파스발 등식이다. 이런 축을 함께 돌려도 제곱합은 그대로다.〕
- [ ] 축들이 서로 직교하기만 하면 된다 〔틀림: 축의 길이가 1이 아니면 좌표의 제곱에 축 길이의 제곱이 곱해져 합이 달라진다.〕
- [ ] 어떤 기저든 같다 〔틀림: 축이 비스듬하면 축끼리 교차 곱이 남아 제곱합이 맞지 않는다.〕
물음. 임베딩의 기저를 돌리고, 그 임베딩을 읽는 모델의 무게도 똑같이 함께 돌렸다. 모델이 내는 점수는 어떻게 되는가?
- [ ] 칸마다 담긴 뜻이 뒤섞이니 점수가 달라진다 〔틀림: 칸 하나에 뜻이 매여 있지 않다. 무게를 함께 돌리면 내적이 바뀌지 않는다.〕
- [x] 그대로다 〔맞음: 뜻은 칸이 아니라 방향에 있다. 기저를 돌려도 방향끼리의 내적은 바뀌지 않는다.〕
- [ ] 돌린 각도만큼 점수가 줄어든다 〔틀림: 기저와 무게를 같이 돌리는 것은 같은 방향을 다른 좌표로 적는 일이라 점수는 그대로다.〕
물음. 고유벡터가 둘인 변환이 있다. 한 축의 고윳값은 0.85, 다른 축의 고윳값은 1.15다. 이 변환을 20번 거듭 걸면 두 축 방향의 성분은 어떻게 되는가?
- [ ] 둘 다 1에 가까운 배율이라 처음 크기 근처에 머문다 〔틀림: 배율을 20번 거듭 곱하므로 1에서 조금만 떨어져도 격차가 크게 커진다.〕
- [ ] 하나는 0.85배, 하나는 1.15배가 된다 〔틀림: 한 번 걸 때의 배율이다. 20번 걸면 그 배율을 20번 곱한다.〕
- [x] 앞의 성분은 거의 사라지고 뒤의 성분은 열 배 넘게 커진다 〔맞음: 0.85를 20번 곱하면 0.039, 1.15를 20번 곱하면 16.4다. 순환 신경망의 그래디언트 소실과 폭발이 이렇게 생긴다.〕
막힌 곳
이제 우리는 같은 신호를 잃는 것 없이 다른 축으로 다시 적고, 축을 잘 고르면 계수와 크기와 변환을 축마다 따로 다룰 수 있다. 다만 흐림의 고유벡터가 하필 출렁임의 정도로 나뉜 이유는 칸 세 개로 계산해 온 이 장의 언어로는 아직 말하지 못한다.