기저: 같은 정보를 다른 축으로 다시 적기

혼동하기 쉬운 점과 요약

토론 1. 탐침은 표현의 모든 칸을 보나

칸 두 개짜리 표현 (3, 1), (3.8, 0.4), (1.4, 2.2)에 길이 1인 탐침 방향 (0.6, 0.8)을 댄다. 탐침은 칸 두 개를 다 보는가?

선생님 T01
선생님

탐침 방향 (0.6, 0.8)로 표현 (3, 1)의 점수를 내 보면요?

김민준 M01
김민준

0.6 × 3 + 0.8 × 1 = 2.6이요. 두 칸에 다 무게를 곱해서 더하니까 탐침은 칸 두 개를 다 보는 거죠. 어느 칸이 바뀌어도 점수가 바뀔 테고요.

선생님 T01
선생님

그럼 (3.8, 0.4)는요? 두 칸이 다 바뀌었어요.

김민준 M04
김민준

2.28 + 0.32 = 2.6. 어, 또 2.6이에요. (1.4, 2.2)도 0.84 + 1.76 = 2.6이에요. 칸 값이 이렇게 다른데요.

이서연 S02
이서연

세 표현끼리 빼 보자. (3.8, 0.4) − (3, 1) = (0.8, −0.6)이고, (1.4, 2.2) − (3, 1) = (−1.6, 1.2)는 그 −2배야. 둘 다 (0.6, 0.8)과 내적이 0이야.

선생님 T02
선생님

그러면 탐침 점수가 같은 표현들은 평면에서 어떻게 놓여 있을까요?

김민준 M07
김민준

탐침 방향에 직각인 한 줄 위에 늘어서 있어요. 그 줄을 따라 움직이면 칸 값은 둘 다 바뀌는데 점수는 그대로고요.

이서연 S08
이서연

그러니까 탐침은 칸을 다 쓰긴 하지만 읽는 건 (0.6, 0.8) 방향의 좌표 하나뿐이야. 그 방향에 직각인 부분은 아무리 바뀌어도 탐침에는 안 보여. 64칸이면 나머지 63개 방향이 전부 버려지는 거고.

토론 2. 밤마다 20%씩 빠져나가는 대여소는 결국 비나

문제 10의 두 대여소에서 자전거 300대가 모두 공원 대여소 A 에 있다. A 에서는 밤마다 20%가 빠져나간다. A 는 결국 비는가?

선생님 T01
선생님

문제 10의 두 대여소에서 이번엔 300대가 모두 공원 대여소 A에 있다고 해요. A에서는 밤마다 20%가 빠져나가요. A는 결국 빌까요?

김민준 M04
김민준

밤마다 0.8배니까 300 × 0.8ⁿ이고, 0.8ⁿ은 0으로 가니까 결국 비겠죠. 첫날 240, 둘째 날 192…

이서연 S03
이서연

잠깐, B로 간 자전거 중에 10%는 A로 돌아오잖아. 첫날 밤엔 B가 0대라 돌아오는 게 없지만 둘째 날부터는 있어.

김민준 M01
김민준

아, 그러네. 다시 하면 첫날 (240, 60), 둘째 날 A가 240 × 0.8 + 60 × 0.1 = 198이라 (198, 102)야. 192보다 많아.

선생님 T02
선생님

A에서 나가는 대수와 들어오는 대수는 밤이 갈수록 어떻게 될까요?

김민준 M07
김민준

나가는 건 A가 줄수록 줄고, 들어오는 건 B가 늘수록 늘어요. 그러다 둘이 같아지는 데서 멈추겠네요. 0.2A = 0.1B, 문제 10에서 찾은 (100, 200)이요.

이서연 S01
이서연

(300, 0) = (100, 200) + 200(1, −1)이니까, 밤마다 200 × 0.7ⁿ만 사라지고 (100, 200)은 남아.

선생님 T01
선생님

B에서 A로 돌아오는 비율이 0이면요?

이서연 S07
이서연

그럼 정말 0.8ⁿ으로 줄어서 A가 비어요. 고윳값 1인 배치가 (0, 300)이 되니까요.

김민준 M08
김민준

빠져나가기만 하는 게 아니면 바닥나지 않는 거네요. 오가는 대수가 같아지는 배치, 고윳값 1인 고유벡터로 모여요.

토론 3. 1에 가까운 배율은 여러 번 곱해도 1 근처에 머무나

하루에 1%씩 나아지는 것과 1%씩 나빠지는 것을 100일 이어 가면 각각 처음의 몇 배가 되는가?

선생님 T01
선생님

매일 1%씩 기록이 느는 사람과 1%씩 주는 사람이 있어요. 100일 뒤에는 각각 처음의 몇 배쯤일까요?

이서연 S04
이서연

1.01이나 0.99는 1에서 0.01씩만 떨어져 있으니까… 100일이면 0.01이 100번 쌓여서 2배와 0배쯤 아닐까요? 1을 사이에 두고 대칭으로요.

김민준 M01
김민준

바로 돌려 볼게. 1.01¹⁰⁰ = 2.705, 0.99¹⁰⁰ = 0.366이야. 0배는 아니고, 2배보다는 커.

이서연 S06
이서연

대칭도 아니네. 2.705는 1보다 1.7 크고 0.366은 0.634 작아. 곱셈을 덧셈처럼 쌓았나 봐.

선생님 T02
선생님

곱셈을 덧셈으로 바꿔 주는 게 있었죠. 로그를 씌우면요?

이서연 S08
이서연

로그로 해 볼게요. 100 × ln 1.01 = 0.995, 100 × ln 0.99 = −1.005예요. 로그로는 거의 +1과 −1로 대칭이고, 되돌리면 e와 1/e쯤인 2.718과 0.368이요. 덧셈으로 쌓이는 건 로그 쪽이었어요.

선생님 T01
선생님

그럼 1.15나 0.85처럼 1에서 조금 더 떨어지면요?

김민준 M08
김민준

잠깐, 문제 12에서 20스텝에 1.15²⁰ = 16.4배, 0.85²⁰ = 0.039배였어요. 1.01도 1000번 곱하면 2만 배가 넘고요. 1에 가깝다고 몇 스텝 뒤에도 비슷한 게 아니네요. 거듭제곱이라 스텝이 쌓일수록 1에서 떨어진 만큼이 지수로 벌어져요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 바른 생각 나온 문제
좌표가 음수면 그 축으로는 적을 수 없다 기저면 어떤 신호든 하나뿐인 좌표로 적힌다. 좌표가 음수인 것은 그 축을 빼는 것일 뿐이다 문제 1
칸 수만큼 축을 고르면 기저다 어느 축도 나머지 축을 섞어 만들어지지 않아야(일차 독립) 기저다. 한 평면에 누운 세 축으로는 적을 수 없는 신호가 생긴다 문제 2
임베딩의 칸 하나에 뜻이 있다 기저를 돌려도 무게를 함께 돌리면 모델의 점수는 같다. 뜻은 칸이 아니라 방향에 있다 문제 3
축마다 내적으로 계수를 구하면 늘 맞다 축들이 서로 직교할 때만 맞다. 직교하지 않으면 다른 축의 성분까지 함께 센다 문제 5, 8
탐침은 표현의 모든 칸을 본다 탐침은 방향 하나로 사영한 좌표만 읽고 그 방향에 직각인 부분은 버린다 토론 1
직각인 두 성분을 더하면 전체 크기다 직각인 성분은 제곱해서 더한다(피타고라스) 문제 7
좌표의 제곱합은 늘 신호의 제곱합이다 서로 직교하고 길이가 1인 축일 때만 같다. 길이가 1이 아니면 축 길이의 제곱을 곱하고, 직교가 아니면 교차 곱 항이 남는다 문제 8
칸이 많아도 내적은 양수 음수가 지워져 작게 머문다 내적의 표준편차는 √d 로 자란다. 그래서 어텐션 점수를 √d 로 나눈다 문제 9
한쪽으로만 빠져나가면 결국 바닥난다 오가는 대수가 같아지는 배치(고윳값 1인 고유벡터)로 모인다 토론 2
n×n 행렬에는 방향이 그대로인 축이 n개 있다 돌리기는 실수 축이 없고 밀기는 모자랄 수 있다. 대칭 행렬이면 서로 직교하는 축 n개가 있다 문제 11
고윳값이 1보다 조금 크거나 작으면 몇 스텝 뒤에도 비슷하다 거듭제곱이라 1.15²⁰ = 16.4배, 0.85²⁰ = 0.039배로 격차가 커진다 토론 3

요약

같은 정보를 잃는 것 없이 다시 적으려면 일차 독립인 축을 칸 수만큼 고르면 되고, 그 축이 서로 직교하면 계수가 축마다 내적 한 번으로 따로 구해지며 길이가 1일 때는 제곱합도 좌표에서 바로 읽힌다. 축을 변환의 고유벡터로 고르면 그 변환까지 축마다 곱셈 하나가 되고, 흐림처럼 대칭인 변환에서는 고유벡터가 서로 직교해서 두 이점이 한 축 묶음에서 함께 온다.

flowchart LR
  A["기저<br/>같은 신호를 다른 축으로"] --> B["직교 사영<br/>계수 = 내적"]
  B --> C["파스발 등식<br/>제곱합이 그대로"]
  A --> D["고유벡터<br/>변환이 섞지 않는 축"]
  C --> D

정리 연습문제

물음. 칸 세 개짜리 신호를 적으려고 축 세 개를 골랐다. 이 세 축이 기저가 되려면 무엇이 더 필요한가?

  • [ ] 더 필요한 것은 없다. 칸 수만큼 골랐으니 기저다 〔틀림: 세 축이 한 평면에 누워 있으면 그 평면 밖으로 나간 신호는 적을 수 없다.〕
  • [x] 어느 축도 나머지 두 축을 섞어 만들 수 없어야 한다 〔맞음: 일차 독립인 축 세 개면 어떤 신호든 하나뿐인 계수로 적힌다.〕
  • [ ] 어떤 신호를 적어도 계수가 모두 양수로 나와야 한다 〔틀림: 계수가 음수인 것은 그 축 방향을 빼는 것일 뿐이라 기저인지와 상관없다.〕

물음. 축마다 신호와 내적을 한 번씩 해서 계수를 구했다. 이렇게 구한 계수가 맞으려면 축들이 어떤 관계여야 하는가?

  • [ ] 기저이기만 하면 된다 〔틀림: 축끼리 비스듬하면 내적이 다른 축의 성분까지 함께 센다.〕
  • [ ] 축의 길이가 모두 1이면 된다 〔틀림: 길이가 1이어도 축끼리 비스듬하면 다른 축의 성분이 섞여 들어온다.〕
  • [x] 축들이 서로 직교해야 한다 〔맞음: 서로 직교하면 내적 하나가 그 축의 성분만 추출한다. 축을 하나 더 넣어도 앞에서 구한 계수는 그대로다.〕

물음. 어떤 기저로 적은 좌표의 제곱합이 신호의 제곱합과 같았다. 이런 일이 언제나 일어나는 기저는 어떤 기저인가?

  • [x] 축들이 서로 직교하고 길이가 모두 1인 기저 〔맞음: 이것이 파스발 등식이다. 이런 축을 함께 돌려도 제곱합은 그대로다.〕
  • [ ] 축들이 서로 직교하기만 하면 된다 〔틀림: 축의 길이가 1이 아니면 좌표의 제곱에 축 길이의 제곱이 곱해져 합이 달라진다.〕
  • [ ] 어떤 기저든 같다 〔틀림: 축이 비스듬하면 축끼리 교차 곱이 남아 제곱합이 맞지 않는다.〕

물음. 임베딩의 기저를 돌리고, 그 임베딩을 읽는 모델의 무게도 똑같이 함께 돌렸다. 모델이 내는 점수는 어떻게 되는가?

  • [ ] 칸마다 담긴 뜻이 뒤섞이니 점수가 달라진다 〔틀림: 칸 하나에 뜻이 매여 있지 않다. 무게를 함께 돌리면 내적이 바뀌지 않는다.〕
  • [x] 그대로다 〔맞음: 뜻은 칸이 아니라 방향에 있다. 기저를 돌려도 방향끼리의 내적은 바뀌지 않는다.〕
  • [ ] 돌린 각도만큼 점수가 줄어든다 〔틀림: 기저와 무게를 같이 돌리는 것은 같은 방향을 다른 좌표로 적는 일이라 점수는 그대로다.〕

물음. 고유벡터가 둘인 변환이 있다. 한 축의 고윳값은 0.85, 다른 축의 고윳값은 1.15다. 이 변환을 20번 거듭 걸면 두 축 방향의 성분은 어떻게 되는가?

  • [ ] 둘 다 1에 가까운 배율이라 처음 크기 근처에 머문다 〔틀림: 배율을 20번 거듭 곱하므로 1에서 조금만 떨어져도 격차가 크게 커진다.〕
  • [ ] 하나는 0.85배, 하나는 1.15배가 된다 〔틀림: 한 번 걸 때의 배율이다. 20번 걸면 그 배율을 20번 곱한다.〕
  • [x] 앞의 성분은 거의 사라지고 뒤의 성분은 열 배 넘게 커진다 〔맞음: 0.85를 20번 곱하면 0.039, 1.15를 20번 곱하면 16.4다. 순환 신경망의 그래디언트 소실과 폭발이 이렇게 생긴다.〕

막힌 곳

이제 우리는 같은 신호를 잃는 것 없이 다른 축으로 다시 적고, 축을 잘 고르면 계수와 크기와 변환을 축마다 따로 다룰 수 있다. 다만 흐림의 고유벡터가 하필 출렁임의 정도로 나뉜 이유는 칸 세 개로 계산해 온 이 장의 언어로는 아직 말하지 못한다.