혼동하기 쉬운 점과 요약
토론 1. 스텝을 열 배로 늘리면 1차 근사의 오차도 열 배인가

정답이 1인 샘플 하나의 로지스틱 손실 ln(1 + e−w)를 w = 0에서 줄여요. 그래디언트가 −0.5니까 학습률 η로 한 스텝 가면 w = 0.5η가 되고, 1차 근사는 손실이 0.25η 준다고 말해요. η = 0.1이면 1차 근사가 실제와 0.00031 틀려요. η = 1이면 얼마나 틀릴까요?

스텝이 열 배니까 틀리는 것도 열 배, 0.0031쯤이겠죠.

계산해 봐요.

η = 1이면 w = 0.5라서 실제 감소가 ln 2 − ln(1 + e−0.5) = 0.2191이에요. 예측은 0.25니까 0.0309 틀렸어요. 열 배가 아니라 백 배 가까이네요?

1차 근사가 버린 첫 항이 ½f″h²이었지. 이 손실은 w = 0에서 f″가 0.25고, h = 0.5η니까… ½ × 0.25 × (0.5η)² = η²/32. η = 0.1이면 0.00031, η = 1이면 0.031이야. 둘 다 측정값이랑 맞네.

그럼 스텝을 열 배 늘리면 1차 근사의 오차는요?

스텝의 제곱이니까 백 배요. 자동차가 1초 뒤엔 1 m, 10초 뒤엔 100 m 틀렸던 것도, 땅이 10 km에서 1 km의 백 배 내려갔던 것도 같은 이야기였네요.

그래서 학습률을 두 배로 키우면 1차 근사가 틀리는 양은 네 배가 되는 거네요. 1차 근사를 믿고 걷는 경사하강이 학습률을 함부로 키울 수 없는 이유고요.
토론 2. 전개점 가까이에서 2차까지로 맞았으면 먼 곳도 2차면 되나

정답 확률이 p인 예측의 크로스 엔트로피 −ln p를, x = 1 − p로 놓고 x = 0 둘레에서 전개하면 x + x²/2 + x³/3 + …예요. 모델이 거의 맞힌 p = 0.95에서는 2차까지 더하면 얼마나 맞죠?

x = 0.05니까 0.05 + 0.00125 = 0.05125이고, 참값이 0.051293이라 0.08%밖에 안 틀려요.

모델이 크게 틀린 p = 0.1에서는요?

0.95에서 이렇게 잘 맞았으니까 0.1에서도 2차면 충분하지 않을까요? x = 0.9라서 0.9 + 0.405 = 1.305예요.

참값은 −ln 0.1 = 2.303이야. 43%나 모자라.

아… 가까운 데서 맞은 걸 보고 먼 데도 될 거라고 넘겨짚었네요. x가 1보다 작으니까 급수는 수렴할 텐데요.

수렴은 해요. 그럼 1% 안으로 들어오려면 몇 항이 필요할까요?

하나씩 더해 볼게. … 24항이야. p = 0.95에서는 2항이면 됐는데.

항이 하나 늘 때마다 앞 항에 대략 x가 곱해지니까, x = 0.05면 금방 사라지고 x = 0.9면 거의 안 줄어드는 거네요. 수렴하느냐와 몇 항이면 충분하느냐는 다른 물음이에요.

전개점에서 멀어질수록 같은 정확도에 드는 항이 늘어나요. 2차까지 맞았다는 건 그 자리 가까이에서만 한 약속이에요.
토론 3. 헤시안을 한 줄씩 구해 쓰고 버리면 2차 방법도 싸지나

파라미터 1억 개의 헤시안은 전부 담을 수 없어요. 그러면 2차 방법은 쓸 길이 없을까요?

메모리가 문제라면… 한 줄씩 구해서 그 줄만 쓰고 버리면 어떨까요? 한 줄은 1억 칸이니까 0.4 GB면 되잖아요.

한 줄은 헤시안에 한 방향 벡터를 곱한 거랑 같지? 그 곱 하나는 그래디언트 계산 몇 번 값으로 얻을 수 있다고 알려져 있어(펄머터, 1994).

그럼 한 줄에 그래디언트 몇 번이면… 싼 거 아니야?

한 스텝에 줄이 몇 개 필요하죠?

1억 개요. 아, 한 스텝에 그래디언트 계산을 억 번 넘게 해야 하네요. 메모리 대신 시간이 터져요.

경사하강은 한 스텝에 그래디언트 한 번인데. 1억 배 넘게 비싼 스텝이면 웬만큼 잘 가서는 못 따라오겠다.

그래서 큰 신경망의 2차 방법은 헤시안 전체를 구하지 않고, 대각이나 층마다의 작은 덩어리처럼 일부만 근사해요. 그때는 무엇을 버렸는지, 파라미터끼리 결합된 곡률을 얼마나 놓치는지를 함께 검토해야 해요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 1차 근사의 오차가 거리에 비례한다고 봄 | 토론 1 | 1차 근사가 버린 첫 항은 스텝의 제곱에 비례한다. 스텝을 10배 늘리면 오차는 약 100배 |
| 1차 근사가 변화 0을 예측하면 실제로도 변하지 않는다고 봄 | 2 | 1차 항이 0이면 2차 항이 남는다. 그래디언트와 수직인 스텝에서도 곡률만큼 변한다 |
| 계산기의 「정확한 식」이 근사보다 늘 정확하다고 봄 | 3, 14 | float32에서 1 + x를 만들면 작은 x가 반올림으로 사라진다. x가 아주 작을 때는 1차 근사(log1p)가 더 정확하다 |
| 72의 법칙의 72를 암산하기 편한 숫자로만 봄 | 4 | 1차 근사는 69.3을 주고, 2차 항이 8% 근처에서 72로 고친다 |
| 2차 근사의 꼭짓점이 늘 손실의 바닥이라고 봄 | 5 | 곡률이 음수이면 꼭짓점은 꼭대기다. 뉴턴 스텝은 그래디언트 0인 곳으로 갈 뿐이다 |
| 크기가 작은 가중치가 지워도 덜 아프다고 봄 | 6 | 손실의 바닥에서 지울 때 손실 증가는 ½Hᵢᵢwᵢ². 곡률과 함께 본다 |
| 2차까지 맞았으면 먼 곳도 2차면 된다고 봄 | 토론 2 | 전개점에서 멀면 항이 많이 필요하다. 수렴한다는 것과 몇 항이면 충분하다는 것은 다른 물음 |
| 테일러 급수가 수렴하면 원래 함수와 같다고 봄 | 8 | e−1/x²은 급수가 0으로 수렴하지만 함수는 0이 아니다. 나머지가 0으로 가는지를 본다 |
| 라이브러리의 문턱 값을 근거 없는 숫자로 봄 | 9 | softplus의 문턱 20은 버린 항 e−x가 float32의 간격 아래로 숨는 자리에 여유를 둔 값이다 |
| 근사를 믿는 반경이 방향과 상관없이 같다고 봄 | 11 | 나머지의 상한은 걸어갈 구간에서 가장 휜 곳으로 잡는다. ln(1 + x)는 왼쪽 반경이 더 좁다 |
| 2차 근사가 선택한 스텝이 가장 좋은 스텝이라고 봄 | 12 | 2차 근사도 곡률이 스텝 내내 같다고 볼 때만 맞다. 곡률이 바뀌면 비관하거나 낙관한다 |
| 차분의 h는 작을수록 좋다고 봄 | 14 | 테일러 나머지는 h와 함께 줄지만 반올림 오차는 1/h로 커진다. 둘이 비슷한 h가 가장 좋다 |
| 헤시안을 한 줄씩 구하면 2차 방법도 싸다고 봄 | 토론 3 | 한 줄에 그래디언트 계산 몇 번 값이 들고 줄이 d개다. 대각만 담으면 파라미터끼리 결합된 곡률을 놓친다 |
요약
값보다 그래디언트를, 그래디언트보다 곡률을, 더 많이 측정할수록 더 멀리 내다볼 것 같았다. 실제로는 ln(1 + x)의 급수를 20차까지 더해도 x = 1.5에서는 −96.8로 빗나갔고, 그래디언트까지만 쓰는 1차 근사는 학습률 0.1의 스텝에서 감소를 98.8% 맞혔지만 학습률 30에서는 예측한 3.22 가운데 0.0066만 실제로 줄었다. optimizer.step()이 한 점에서 측정한 숫자로 떨어진 곳을 내다볼 수 있는 것은, 근사가 버린 항이 가까운 곳에서는 작기 때문이다. 한 점의 미분으로 내다본 예측은 버린 항이 작은 거리 안에서만 맞고, 학습률을 정하는 일은 그 거리를 정하는 일이다.
값만 쓰는 0차 근사는 어디로 가도 같다고 말하고, 그래디언트를 넣은 1차 근사 f(a + h) ≈ f(a) + f′(a)h는 직선으로 떨어진 곳을 내다본다. 1차 근사의 오차는 스텝의 제곱에 비례해서, 스텝을 반으로 줄이면 4분의 1이 된다. 경사하강은 1차 근사가 가장 많이 줄어든다고 말하는 그래디언트 반대쪽으로 걷는 방법이다. 1624년 브리그스의 로그표를 직선으로 메우던 사람들도 같은 근사를 썼다.
1차 근사는 어디서 멈출지 모르고, 손실의 바닥에서는 아무것도 보지 못한다. 곡률(2차 미분)을 넣은 2차 근사는 포물선이라 꼭짓점이 있고, 그 꼭짓점으로 뛰기를 반복하는 것이 뉴턴법인데, 꼭짓점이 바닥인 것은 곡률이 양수일 때뿐이다. 파라미터가 여럿이면 곡률은 d × d 헤시안이 된다. 페르마는 1차 항이 사라지는 자리를 찾았고, 매클로린은 그다음 항으로 꼭대기와 바닥을 가렸다.
차수를 끝없이 올린 테일러 전개는 1715년 테일러가 보간 공식에서 표의 칸을 좁혀 얻었다. 그러나 ln(1 + x)의 급수는 전개점에서 1보다 먼 곳에서는 차수를 올릴수록 더 틀리고, 코시의 함수 e−1/x²은 급수가 수렴하는데도 참값과 다르다. 근사를 얼마나 믿을지는 나머지항이 정한다. 라그랑주 형태 나머지로 걸어갈 구간에서 가장 휜 곳을 알면, 허용 오차를 먼저 정하고 근사를 믿을 반경을 계산할 수 있다. 실제 감소와 예측 감소의 비 ρ로 스텝을 고치는 것이 신뢰 영역 방법의 생각이다.
옵티마이저는 테일러 근사의 어느 차수를 쓰느냐로 나뉜다. 0차 방법은 값만 쓰고 손실 계산 횟수로 값을 치르며, 1차 방법은 역전파로 싸게 얻은 그래디언트를 쓰고, 2차 방법은 파라미터 수의 제곱만큼의 헤시안을 쓴다. 파라미터 1억 개짜리 모델의 헤시안은 담을 수조차 없어서, 큰 신경망은 1차 방법을 쓰고 모멘텀이나 Adam처럼 곡률을 흉내 내는 2차의 근사로 한 계단 위를 넘본다.
정리 연습문제
물음. 한 점에서 1차 근사로 손실을 내다본다. 스텝을 10배로 늘리면 1차 근사의 오차는 대략 몇 배가 되는가?
- [ ] 10배 〔틀림: 1차 근사가 버린 첫 항은 스텝의 제곱에 비례한다. 오차는 거리보다 빨리 자란다.〕
- [x] 100배 〔맞음: 버린 첫 항이 스텝의 제곱에 비례하므로, 10배 스텝이면 오차는 약 100배다. 거꾸로 스텝을 반으로 줄이면 오차는 4분의 1이 된다.〕
- [ ] 그대로다 〔틀림: 1차 근사는 전개점에서 멀어질수록 휜 만큼 더 벗어난다.〕
물음. 2차 근사(포물선)의 꼭짓점으로 뛰기를 반복하는 것이 뉴턴법이다. 그 꼭짓점이 꼭대기가 아니라 포물선의 바닥인 것은 언제인가?
- [ ] 언제나 바닥이다 〔틀림: 곡률이 음수이면 포물선이 아래로 열려 꼭짓점은 꼭대기다.〕
- [x] 곡률이 양수일 때뿐이다 〔맞음: 꼭짓점은 늘 그래디언트가 0인 자리이고, 바닥인지 꼭대기인지는 곡률의 부호가 정한다.〕
- [ ] 그래디언트가 0이 되는 자리이면 언제나 바닥이다 〔틀림: 꼭대기에서도 그래디언트는 0이다. 뉴턴 스텝은 그래디언트가 0인 곳으로 갈 뿐이다.〕
물음. 손실의 바닥에서 가중치 하나를 0으로 지우려 한다. 지워도 손실이 가장 덜 오르는 가중치는 어떻게 선택하는가?
- [ ] 크기가 가장 작은 가중치를 선택한다 〔틀림: 크기가 작아도 그 방향의 곡률이 크면 손실이 많이 오른다. 곡률과 함께 봐야 한다.〕
- [ ] 그래디언트가 가장 작은 가중치를 선택한다 〔틀림: 바닥에서는 모든 그래디언트가 0이라 그것으로는 구분할 수 없다.〕
- [x] 곡률과 가중치 크기의 제곱을 곱한 값이 가장 작은 가중치를 선택한다 〔맞음: 바닥에서는 1차 항이 사라지고 2차 항만 남는다. 그 2차 항이 곡률과 크기의 제곱으로 정해진다.〕
물음. float32 로 아주 작은 수 x 에 대해 ln(1 + x) 를 구한다. 더 정확한 답을 주는 것은 어느 것인가?
- [ ] 1 + x 를 먼저 만들고 ln 을 씌우는 「정확한 식」 〔틀림: 1 + x 를 만드는 순간 작은 x 가 반올림으로 사라져, 답이 0이 될 수도 있다.〕
- [x] 1 + x 를 만들지 않는 log1p 같은 함수 〔맞음: x 가 아주 작을 때는 ln(1 + x) 가 거의 x 라는 1차 근사가 반올림보다 훨씬 정확하다.〕
- [ ] 어느 쪽이든 같다 〔틀림: 식으로는 같아도 컴퓨터의 자릿수가 모자라 결과가 달라진다.〕
물음. 어떤 함수의 테일러 급수가 모든 곳에서 수렴한다. 옳은 것은 어느 것인가?
- [ ] 급수가 수렴하면 원래 함수와 같다 〔틀림: 코시가 든 함수는 0에서 전개한 급수가 모든 곳에서 0으로 수렴하는데, 함수 자체는 0이 아니다.〕
- [ ] 전개점 가까이에서 2차까지로 맞았으면 먼 곳도 2차면 된다 〔틀림: 전개점에서 멀면 항이 많이 필요하다. 수렴한다는 것과 몇 항이면 충분하다는 것은 다른 물음이다.〕
- [x] 원래 함수와 같은지는 나머지항이 0으로 가는지를 확인해야 안다 〔맞음: 근사를 얼마나 믿을지는 나머지항이 정한다.〕
물음. 큰 신경망이 2차 방법을 쓰지 않고 1차 방법에 머무는 주된 이유는 무엇인가?
- [ ] 2차 근사가 1차 근사보다 덜 정확해서 〔틀림: 2차 근사는 곡률까지 담아 1차보다 정확하다. 문제는 계산과 메모리의 값이다.〕
- [x] 헤시안이 파라미터 수의 제곱만큼 칸을 가져서 〔맞음: 파라미터 1억 개짜리 모델의 헤시안은 40 PB다. 그래서 모멘텀이나 Adam 처럼 곡률을 흉내 내는 방법을 쓴다.〕
- [ ] 헤시안을 한 줄씩 구해 쓰고 버리면 싸지만 그 방법이 알려지지 않아서 〔틀림: 한 줄에 그래디언트 계산 몇 번 값이 들고 줄이 파라미터 수만큼 있어 결국 비싸다.〕
막힌 곳
이 장에서 반경을 계산한 손실은 ln(1 + x)처럼 곡률을 식으로 적을 수 있는 것뿐이었고, 걸어갈 구간의 가장 큰 곡률도 식에서 바로 구했다. 곡률의 식을 모르는 손실에서 가장 큰 곡률을 어디서 얻을지는 나머지항이 말해 주지 않는다.