맺음: 남은 물음
처음부터 돌아보기
마지막 시간. 칠판에는 머리말에서 그린 그릇이 다시 그려져 있다. 손실의 바닥(최소점)이 원점에 있고 한쪽 벽이 다른 쪽보다 20배 가파른 그릇 f(θ) = ½(θ₁² + 20θ₂²), 그리고 출발점 (−4, 1).
처음 시간에 이 그릇에서 다섯 방법을 굴렸죠. 스텝 수를 기억해요?
바닥까지 거리 0.01 안에 드는 스텝이요. 무작위 탐색이 148, 경사하강이 61, 모멘텀이 19, Adam 이 105, 뉴턴법이 1이었어요. 그때는 Adam 이 경사하강보다 느린 게 이상했어요.
지금은요?
지금은 숫자마다 왜 그렇게 나왔는지 말할 수 있어요. 경사하강의 61은 학습률이 가파른 벽 쪽 곡률에 묶여서예요. 학습률이 2/L 을 넘으면 벽 사이에서 튕겨 나가니까, 그 학습률로 완만한 쪽을 기어가야 했고요. 그래서 스텝 수가 조건수 κ 에 비례했어요. 모멘텀은 지난 스텝을 기억해서 오가는 스텝은 지우고 같은 쪽 스텝은 쌓아서 √κ 로 줄였고요.
Adam 의 105는 스텝 크기가 학습률에 묶여서였어. 그래디언트를 그 크기로 나누니까 두 축이 같은 스텝 크기로 걷는데, Adam 의 스텝 크기가 학습률과 같은 0.1이라 4만큼 떨어진 바닥까지 한참 걸렸지. 그릇을 45° 돌리면 470스텝으로 늘었고. 축마다 따로 휨을 어림하는 방법이라 가파른 방향이 축과 어긋나면 어림이 틀렸던 거야.
그럼 뉴턴법은 한 스텝에 닿는데 왜 아무도 신경망에 쓰지 않았죠?
휨을 다 담은 헤시안이 파라미터 n개에 n × n 칸이니까요.
그럼 뒤쪽 방법들은 그 칸을 어떻게 피했어요?
거의 다 그 사이에 섰어요. 그래디언트는 계산하되 휨은 흉내만 내는 방법들이요. 「곡률 근사」의 Shampoo 는 층마다 휨을 작은 두 행렬로 쪼개 어림했고, 「Muon」은 거기서 누적을 끄면 그래디언트의 특잇값을 모두 1로 바꾸는 스텝이 된다는 데서 출발했어요.
그 직교화도 결국 「스텝의 크기를 무엇으로 재나」의 문제였어요. 유클리드 길이로 재면 경사하강, 칸마다의 최댓값으로 재면 부호 하강, 스펙트럼 노름으로 재면 −UVᵀ. 이동 평균을 끈 Adam 이 부호 하강이라는 게 제일 놀라웠어요.
그래디언트는 어디서 왔어요?
역전파요. 사다리의 칸이 아니라 발판이었죠. 손실을 한 번 계산한 길을 거꾸로 한 번 거슬러 가면 편미분 n개가 한꺼번에 나와요.
거슬러 가는 길에서는 무엇이 말썽이었죠?
층마다 자코비안을 곱하니까, 초기화를 잘못하면 그래디언트가 층마다 줄어서 사라지거나 커져서 터졌어요. 그래서 표준편차를 1/√n 으로 잡고, ReLU 면 √2 를 곱하고, 잔차 연결로 그대로 지나가는 길을 깔았고요.
립시츠 상수가 줄기 하나를 다 꿰고 있었네요. 함수가 얼마나 빨리 변하나가 립시츠 상수, 그래디언트가 얼마나 빨리 변하나가 L-매끄러움이고, 그 L 이 학습률의 상한 2/L 을 정했어요. 선형층의 립시츠 상수는 가장 큰 특잇값이라 스펙트럼 노름으로 이어졌고, 1보다 작으면 되풀이가 한 점으로 모이는 축약 사상이 됐고요.
그 많은 방법을 그림 하나에 놓아 볼까요.
2차 칸에는 300여 년 전 점 하나뿐이네요. 요즘 점들은 거의 다 휨을 흉내 내는 칸이고요.
0차 칸도 꾸준히 이어져. 미분할 수 없는 손실은 계속 있으니까. 진화 전략이 1964년 바람 터널에서 시작해서 2017년에 강화학습 문제로 돌아왔잖아.
칸마다 무엇이 막혀서 다음 점이 생겼는지는 이제 다 말할 수 있겠죠. 그런데 이 지도를 다 짚을 수 있게 됐다고 물음이 다 풀린 건 아니에요. 이 책은 한 방법이 막힌 곳에서 다음 방법이 나오는 식으로 흘러왔고, 막힌 곳은 대부분 다음 방법이 풀었지만 끝까지 남은 것들이 있어요. 마지막으로 그것들을 답이 아니라 물음으로 적어 둡시다.