혼동하기 쉬운 점과 요약
토론 1. 학습 자료에서 오차가 가장 작은 디노이저는 자료가 사는 곳을 배운 것인가
원 위 45°마다 놓인 학습 점 여덟 개에 노이즈를 섞어 디노이저를 학습시킨다. 학습 자료에서 제곱 오차가 가장 작은 디노이저는 원을 배운 것인가.

원 위에 45°마다 학습 점 여덟 개만 있고, 거기에 σ = 0.1 의 노이즈를 섞어 학습시킨다고 해요. 디노이저 후보가 둘이에요. 하나는 받은 점을 원 위로 올려놓고, 하나는 가장 가까운 학습 점으로 끌어가요. 학습 자료에서 오차가 작은 쪽이 더 잘 배운 걸까요?

손실이 낮은 쪽이 잘 배운 거죠. 학습 자료에서 오차 ÷ σ² 부터 계산해 볼게요. 원으로 올리는 쪽은 접선 성분이 남으니까 1쯤이에요.

가장 가까운 학습 점으로 끌어가는 쪽은요?

이웃한 학습 점 사이가 2 sin 22.5° = 0.77 이라, 노이즈 0.1 로는 어느 점에서 왔는지 헷갈릴 일이 거의 없어요. 끌어가면 원래 점에 딱 맞으니까… 거의 0이에요. 그럼 학습 점으로 끌어가는 쪽이 이기네요.

학습 점 사이 아무 자리에서 새로 뽑은 원 위의 점에 노이즈를 섞으면요?

가장 가까운 학습 점으로 끌려가니까, 원래 자리에서 그 학습 점까지의 거리가 그대로 오차예요. 학습 점 사이가 45°니까 가장 가까운 점까지의 각도는 0°에서 22.5° 사이에 균등하게 분포하고…

각도를 라디안으로 바꿔 제곱 평균을 내 볼까요?

22.5° 가 π/8 이니까 제곱 평균이 (π/8)²/3 = 0.051 쯤이에요. σ² = 0.01 로 나누면 5쯤이고요. 원으로 올리는 쪽은 새 점에서도 1이에요.

학습 자료에서는 0 대 1 로 이겼는데, 새 점에서는 5 대 1 로 지네요. 손실만 보고 선택했으면 외운 쪽을 선택할 뻔했어요.

그래요. 학습 점을 외운 디노이저도 학습 자료 위에서는 제곱 오차가 가장 작아요. 자료가 사는 곳 전체로 끌어당기는지, 학습 점 몇 개로 끌어당기는지는 학습에 쓰지 않은 점에서 비교해야 보여요.

법선을 지우고 접선을 남기는 게 원을 배운 표시였는데, 외운 디노이저는 접선까지 지워 버렸네요. 학습 자료에서 오차 ÷ σ² 이 0에 가깝다는 게 오히려 외웠다는 신호였어요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 가장 좋은 예측은 가장 자주 일어나는 값이라고 봄 | 1 | 제곱 오차로 평가하면 후보들을 그럴듯함으로 무게 매긴 평균(조건부 평균)이 가장 좋다. 그 값이 실제로 한 번도 일어나지 않아도 그렇다 |
| 제곱 오차로 배운 디노이저의 흐린 출력을 덜 배운 탓으로 봄 | 2 | 후보가 여럿이면 가장 좋은 디노이저도 그 평균을 내 흐리다. 오래 학습해도 또렷해지지 않는다 |
| 두 방향 가운데 한 방향의 오차를 지우면 오차 거리가 절반이 된다고 봄 | 3 | 절반이 되는 것은 제곱 오차의 평균이다. 거리(제곱 평균의 제곱근)는 √2 분의 1로 준다. 자료를 따라 밀린 접선 성분은 그대로 남는다 |
| 큰 노이즈에서 접선 오차가 줄어든 것을 「더 잘 알아본 것」으로 읽음 | 4 | 조건부 평균이 후보들 한가운데로 움츠러든 결과다. 출력이 자료 안쪽으로 들어가 법선 오차가 생긴다 |
| 오차 ÷ σ² 을 아무 σ 에서나 내재 차원으로 읽음 | 5 | σ 를 바꿔도 값이 잘 안 변하는 작은 σ 쪽에서 읽는다. 학습한 디노이저는 오차가 부풀어 차원을 크게 읽는다 |
| 한 번 받은 점수를 그대로 실력으로 봄 | 6 | 신호 분산 ÷ (신호 분산 + 노이즈 분산) 만큼만 믿고 평균 쪽으로 당긴다 |
| 디노이저는 늘 사영 행렬이라고 봄 | 7 | 노이즈 분산이 가장 작은 축의 분산보다 훨씬 작을 때만 사영에 가깝다. 노이즈가 크면 평면 위에서도 움츠러든다 |
| 노이즈 분산이 25배면 고친 뒤 오차도 25배라고 봄 | 8 | 디노이저는 노이즈가 클수록 남기는 방향(유효 차원)을 줄여, 오차가 노이즈 분산보다 느리게 는다 |
| 같은 디노이저를 거듭 쓰면 더 깨끗해진다고 봄 | 9 | 디노이저는 입력에 그 세기의 노이즈가 섞였다고 믿는다. 이미 고친 것을 또 고치면 평균 쪽으로 끌려간다 |
| 고정점을 구하면 거기로 간다고 봄 | 10 | 원점 근처 배율 1/(2σ²) 로 고정점 원이 살아남는지 따로 본다. 경계는 σ ≈ 0.707 |
| 학습 자료에서 오차가 가장 작은 디노이저가 자료가 사는 곳을 배웠다고 봄 | 토론 1 | 학습 점을 외운 디노이저도 학습 자료 위에서는 오차가 가장 작다. 학습에 쓰지 않은 점에서 비교하고, 접선 성분까지 지워지면 외운 것을 의심한다 |
| 생성에는 작은 노이즈의 디노이저만 있으면 된다고 봄 | 11 | 큰 노이즈 단계가 거친 결정을, 작은 노이즈 단계가 세밀한 결정을 맡는다. 출발점과 디노이저가 믿는 노이즈 세기가 맞아야 한다 |
요약
축이나 비트라는 말을 한 번도 듣지 않은 디노이저도 압축과 관계가 있었다. 노이즈를 지우라고만 배운 디노이저는 노이즈가 작으면 자료가 사는 낮은 차원에서 벗어난 성분을 버리고 그 위의 자리만 남기는 손실 압축기처럼 움직인다. 노이즈 낀 점 x = x₀ + σε 에서 원래 점을 제곱 오차가 가장 작게 추정하는 디노이저는 조건부 평균 E[x₀ ∣ x]다. 그 입력을 낳았을 법한 후보들을 그럴듯함으로 무게 매긴 한가운데라서, 후보 어느 것도 아닐 수 있다(+1 과 −1 사이의 0.664, 원 안쪽의 반지름 0.966). 노이즈가 작으면 이 디노이저는 자료가 사는 곳에 수직인 법선 성분을 지우고, 자료를 따라가는 접선 성분은 남긴다. 그래서 d칸 공간의 노이즈 dσ² 가운데 내재 차원 k 만큼인 kσ² 만 남고, 실제로 원을 2, 10, 100칸에 넣어도 디노이저 뒤의 오차 ÷ σ² 은 1 근처였다. 디노이저의 출력은 자료가 사는 k차원 곳 위의 자리 k개로 적힌다.
자료가 평평한 면 위에 있으면 가장 좋은 디노이저는 축마다 λᵢ/(λᵢ + σ²) 를 곱하는 행렬이고, 노이즈가 작으면 주성분 분석의 축으로 만든 사영 행렬 P = UUᵀ 가 된다. 샘플 200,000쌍으로 회귀해 얻은 행렬도 σ = 0.1 에서 고윳값 0.998, 0.990 과 0 여덟 개를 냈다. 디노이저의 자코비안 대각합은 남기는 방향의 수를 세고, 가장 좋은 디노이저의 오차는 σ² 곱하기 그 대각합의 평균이다. 굽은 자료에서 자코비안은 점마다 그 근처의 곧은 조각 위로 사영한다. 같은 디노이저를 반복하면 작은 σ 에서는 자료 위의 자리만 남고, σ 가 1/√2 를 넘으면 모든 점이 평균 한 곳으로 모인다. 노이즈 세기를 큰 쪽에서 작은 쪽으로 줄이며 반복하면 거친 요약부터 세밀한 요약까지 차례로 정해져 자료가 사는 곳 그대로에 닿는다. 디퓨전 모델의 생성은 이렇게 읽으면 노이즈 레벨별 디노이저로 하는 압축 풀기다.
flowchart LR A["노이즈 낀 점<br/>d칸이 모두 변동"] -- "가장 좋은 디노이저<br/>E[x₀ ∣ x]" --> B["법선 성분을 지움<br/>남는 오차 ≈ kσ²"] B -- "평평한 자료" --> C["사영 행렬 P = UUᵀ<br/>주성분 분석의 축"] B -- "같은 σ 로 되풀이" --> D["고정점<br/>작은 σ: 자료 위 자리 / 큰 σ: 평균 한 점"] D -- "σ 를 큰 쪽에서 작은 쪽으로" --> E["거친 요약부터 풀기<br/>디퓨전의 생성"]
정리 연습문제
물음. 노이즈 낀 입력 하나를 낳았을 법한 깨끗한 값이 여럿이다. 제곱 오차로 끝까지 배운 디노이저는 무엇을 내놓는가?
- [ ] 후보 가운데 가장 그럴듯한 하나 〔틀림: 한쪽을 찍었다가 반대쪽이 정답이면 제곱 오차가 크게 붙는다. +1 과 −1 의 장난감에서 더 그럴듯한 +1 을 내면 제곱 오차의 평균이 0.672로, 가장 작은 값 0.559보다 컸다.〕
- [x] 후보들을 그럴듯함으로 무게 매긴 평균(조건부 평균) 〔맞음: 제곱 오차의 평균을 답으로 미분하면 조건부 평균에서 0이 된다. 조건부 평균은 후보 어느 것과도 같지 않을 수 있다(+1 과 −1 사이의 0.664).〕
- [ ] 받은 입력 그대로 〔틀림: 입력에는 노이즈가 섞여 있다. 후보들이 놓인 쪽으로 옮겨야 제곱 오차가 준다.〕
물음. 원을 100칸 공간에 넣고 칸마다 작은 노이즈를 섞었다. 디노이저 뒤에 남은 오차를 노이즈 분산으로 나누면 얼마쯤인가?
- [ ] 100쯤이다. 칸 100개가 모두 흔들렸다 〔틀림: 디노이저가 원에 수직인 방향의 노이즈를 지운다. 남는 것은 원을 따라가는 방향뿐이다.〕
- [x] 1쯤이다 〔맞음: 원의 내재 차원 1만큼만 남는다. 원을 2칸, 10칸, 100칸에 넣어도 모두 1 근처였다.〕
- [ ] 0쯤이다. 가장 좋은 디노이저는 노이즈를 다 지운다 〔틀림: 원을 따라 밀린 접선 성분은 지울 수 없어 그만큼 남는다.〕
물음. 자료가 10칸 공간의 평면 위에 있다. 노이즈 분산이 평면 위 주성분 축들의 분산과 비슷할 만큼 크면, 가장 좋은 디노이저는 무엇을 하는가?
- [ ] 받은 점을 평면 위로 사영하기만 한다 〔틀림: 디노이저가 사영 행렬에 가까운 것은 노이즈 분산이 가장 작은 축의 분산보다 훨씬 작을 때뿐이다.〕
- [x] 평면 위로 사영하고, 평면 위에서도 축마다 평균 쪽으로 움츠린다 〔맞음: 축마다 그 축의 신호 분산이 신호와 노이즈 분산을 더한 것에서 차지하는 비율만큼만 믿는다.〕
- [ ] 평면 위의 성분은 받은 그대로 믿는다 〔틀림: 모의고사 한 번의 점수를 실력으로 보는 것과 같다. 노이즈가 크면 평면 위 성분도 덜 믿어야 한다.〕
물음. 원 위 자료에 피팅한 디노이저 하나를 같은 노이즈 세기로 여러 번 반복해 쓴다. 무엇이 남는가?
- [ ] 쓸수록 더 깨끗해져 원래 점에 닿는다 〔틀림: 디노이저는 입력에 그 세기의 노이즈가 섞였다고 믿는다. 이미 고친 것을 또 고치면 평균 쪽으로 끌려간다.〕
- [x] 노이즈 세기가 작으면 원 위의 자리가 남고, 크면 모든 점이 평균 한 곳으로 모인다 〔맞음: 원 자료에서 그 경계는 노이즈 세기 0.707쯤이었다.〕
- [ ] 고정점인 원을 구했으니 노이즈 세기와 상관없이 늘 원에 닿는다 〔틀림: 고정점 원이 살아남는지는 원점 근처에서 따로 봐야 한다. 노이즈가 크면 원은 사라지고 평균 한 점만 남는다.〕
물음. 디퓨전 모델은 노이즈 세기를 큰 쪽에서 작은 쪽으로 줄여 가며 디노이저를 쓴다. 큰 노이즈 단계의 디노이저가 맡는 일은 무엇인가?
- [ ] 없다. 작은 노이즈의 디노이저만 있으면 생성할 수 있다 〔틀림: 출발점은 큰 노이즈다. 디노이저가 믿는 노이즈 세기가 출발점과 맞아야 한다.〕
- [x] 거친 요약, 큰 줄기를 정한다 〔맞음: 작은 노이즈 단계가 세밀한 결정을 맡는다. 거친 요약부터 차례로 정해져 자료가 사는 곳에 닿는다.〕
- [ ] 세밀한 결을 정한다 〔틀림: 큰 노이즈에서는 세부가 묻혀 보이지 않는다. 세밀한 결정은 작은 노이즈 단계가 맡는다.〕
물음. 원 위 학습 점 여덟 개로 디노이저를 학습시켰더니, 학습 자료에서 오차를 노이즈 분산으로 나눈 값이 거의 0이었다. 어떻게 읽어야 하는가?
- [ ] 원을 가장 잘 배웠다. 손실이 가장 낮다 〔틀림: 학습 점을 외운 디노이저도 학습 자료 위에서는 오차가 가장 작다.〕
- [x] 학습 점을 외웠을 수 있다. 학습에 쓰지 않은 점에서 비교해 본다 〔맞음: 원을 배운 디노이저는 접선 성분을 남겨 오차를 노이즈 분산으로 나눈 값이 1쯤이다. 0에 가깝다면 접선 성분까지 지운 것이다.〕
- [ ] 접선 성분까지 지웠으니 원을 더 잘 알아본 것이다 〔틀림: 접선 성분은 원 위의 다른 점과 구별되지 않는다. 그것까지 지웠다면 원이 아니라 학습 점으로 끌어간 것이다.〕
막힌 곳
이 장의 디노이저는 모두 식으로 계산한 가장 좋은 디노이저였고, 원 위 점 20,000개로 낸 표본 평균과는 가장 커도 0.0074밖에 다르지 않았다. 학습 점만 보고 실제로 배운 디노이저가 원으로 끌어당길지 학습 점으로 끌어갈지는 이 장에서 측정하지 않았다.