뉴턴법과 헤시안: 곡률을 알면 한 번에

휨을 흉내 내기: 곡률을 계산하지 않고 그 효과만

헤시안–벡터 곱으로 표는 피했지만, 뉴턴 스텝 하나를 얻으려면 그 곱을 스텝마다 수십 번에서 수백 번 써야 했다. 큰 언어 모델은 그래디언트 한 번을 구하는 데도 값이 많이 들어서, 학습 스텝 하나에 그 수십 배를 치르기 어렵다. 그런데 뉴턴 스텝이 길쭉한 골짜기에서 실제로 한 일을 돌아보면, 가파르게 휜 방향으로는 짧게, 완만한 방향으로는 길게, 방향마다 학습률을 따로 준 것이었다. 필요한 것이 지형의 지도 전체가 아니라 그 효과라면, 지도의 한 조각만 들고 다녀도 효과의 얼마쯤은 얻을 수 있지 않을까?

협곡 하나, 방법 넷

길쭉한 골짜기 가운데 가장 간단한 것, 조건수 100인 그릇 f(θ) = ½(θ₁² + 100θ₂²)으로 해 보자. 방향마다 휨이 1과 100으로 다르고, 헤시안은 대각선에 1과 100이 놓인 2 × 2 표다. 같은 그릇을 45° 돌려 놓으면 협곡이 대각선으로 눕고, 헤시안은 대각 칸이 둘 다 50.5, 엇갈린 칸이 −49.5인 표가 된다. 그릇의 모양은 같고 놓인 방향만 다르다. 두 그릇에서 (1, 1)(돌린 그릇에서는 이 점을 같이 돌린 자리)에서 출발해 바닥까지 거리 0.001 안에 들기까지의 스텝 수를 네 방법으로 셌다. 방법마다 지도 대신 무엇을 들고 다니는지를 함께 적었다.

방법 헤시안 대신 들고 다니는 것 나란한 그릇 45° 돌린 그릇
경사하강(가장 좋은 고정 학습률 2/(L + μ)) 없음 363 363
지난 스텝 하나를 기억하기(무거운 공, 폴랴크의 학습률과 기억 세기) 칸마다 지난 스텝 하나, n개 58 58
헤시안의 대각 칸만 쓰기(칸마다 그 칸의 휨으로 나눔) 칸마다 휨 하나, n개 1 363
헤시안 전체(뉴턴 스텝) 표 n²칸 1 1

뉴턴 스텝은 어느 쪽에서나 한 스텝이고, 경사하강은 어느 쪽에서나 363스텝이다. 눈여겨볼 것은 가운데 두 줄이다. 대각 칸만 쓰는 방법은 나란한 그릇에서 뉴턴 스텝과 똑같이 한 스텝에 끝나는데, 그 그릇에서는 대각 칸이 지도 전체이기 때문이다. 그런데 돌린 그릇에서는 대각 칸이 둘 다 50.5라 두 칸을 같은 수로 나누게 되고, 그러면 학습률 하나로 걷는 경사하강과 다를 것이 없어 363스텝으로 돌아간다. 지난 스텝 하나를 기억하는 방법은 두 그릇에서 똑같이 58스텝이다. 방향마다의 휨은 한 칸도 측정하지 않았는데 경사하강보다 여섯 배 넘게 빠르고, 그릇을 돌려도 흔들리지 않는다. 학습률과 기억의 세기는 경사하강의 학습률처럼 가장 큰 휨 L과 가장 작은 휨 μ 두 숫자로만 정했다(보리스 폴랴크가 1964년에 구한 값).

네 방법은 모두 「그래디언트에 무언가를 곱하거나 더해 방향마다 스텝을 늘이고 줄인다」는 점에서 같다. 그 가운데 행렬을 곱하는 형태를 식으로 적으면 다음과 같다.

Δθ=− η  P ∇f(θ),P=I (경사하강),P=diag⁡(H)−1 (대각 칸만),P=H−1 (뉴턴 스텝)\textcolor{#0078e1}{\Delta\theta} = -\,\textcolor{#006600}{\eta}\;\textcolor{#9467bd}{P}\,\textcolor{#b0892a}{\nabla f}(\textcolor{#665522}{\theta}), \qquad \textcolor{#9467bd}{P} = I \ (\text{경사하강}),\quad \textcolor{#9467bd}{P} = \operatorname{diag}(\textcolor{#9467bd}{H})^{-1} \ (\text{대각 칸만}),\quad \textcolor{#9467bd}{P} = \textcolor{#9467bd}{H}^{-1} \ (\text{뉴턴 스텝})
Δθ한 스텝에 움직이는 양η학습률P전조건 행렬: 방향마다 스텝을 늘이고 줄이는 표∇f그래디언트H헤시안diag⁡(H)헤시안에서 대각 칸만 남긴 표\begin{array}{ll} \textcolor{#0078e1}{\Delta\theta} & \text{한 스텝에 움직이는 양} \\ \textcolor{#006600}{\eta} & \text{학습률} \\ \textcolor{#9467bd}{P} & \text{전조건 행렬: 방향마다 스텝을 늘이고 줄이는 표} \\ \textcolor{#b0892a}{\nabla f} & \text{그래디언트} \\ \textcolor{#9467bd}{H} & \text{헤시안} \\ \operatorname{diag}(\textcolor{#9467bd}{H}) & \text{헤시안에서 대각 칸만 남긴 표} \end{array}

이렇게 그래디언트에 행렬을 곱해 방향마다 스텝을 늘이고 줄인 뒤 걷는 일을 전조건 (방향마다 스텝을 따로 조정하기 / preconditioning)이라 하고, 곱하는 행렬 P를 전조건 행렬이라 한다. 뉴턴 스텝은 P로 헤시안의 역을 그대로 쓴 것이고, 이 책이 「휨을 흉내 낸다」고 부르는 방법들은 헤시안의 역 대신 값싸게 들고 다닐 수 있는 것을 P 위치에 넣는다. 지난 스텝을 기억하는 무거운 공은 행렬을 곱하는 대신 지난 스텝을 더하는 형태라 전조건 행렬을 곱하는 형태에 꼭 일치하지는 않지만, 노리는 효과는 같다.

흉내마다 지도의 어느 조각을 들었는지가 다르다. 큰 신경망의 가중치 행렬 하나를 놓고 지도와 들고 다니는 것의 크기를 비교하면 다음 그림과 같다.

헤시안 지도 한 장 대 들고 다니는 것. 4096 × 4096 가중치 행렬 하나(파라미터 1,678만 개)의 헤시안은 칸이 2.8 × 10¹⁴개, 32비트로 1.13 PB다. 오른쪽은 방법마다 헤시안 대신 들고 다니는 숫자를 같은 32비트로 계산한 크기다(로그 눈금). K-FAC 은 층마다 입력 쪽·출력 쪽 4096 × 4096 행렬 둘(134 MB), Adam 은 칸마다 이동 평균 둘(134 MB), 모멘텀은 칸마다 지난 스텝 하나(67.1 MB), Muon 은 지난 스텝 하나를 들고 다니며 쓸 때마다 그 행렬의 특잇값을 1 가까이로 모은다(67.1 MB). 지도는 Adam 의 두 버퍼보다 팔백만 배 넘게 크다(sources/newton/s9_imitation.py)
헤시안 지도 한 장 대 들고 다니는 것. 4096 × 4096 가중치 행렬 하나(파라미터 1,678만 개)의 헤시안은 칸이 2.8 × 10¹⁴개, 32비트로 1.13 PB다. 오른쪽은 방법마다 헤시안 대신 들고 다니는 숫자를 같은 32비트로 계산한 크기다(로그 눈금). K-FAC 은 층마다 입력 쪽·출력 쪽 4096 × 4096 행렬 둘(134 MB), Adam 은 칸마다 이동 평균 둘(134 MB), 모멘텀은 칸마다 지난 스텝 하나(67.1 MB), Muon 은 지난 스텝 하나를 들고 다니며 쓸 때마다 그 행렬의 특잇값을 1 가까이로 모은다(67.1 MB). 지도는 Adam 의 두 버퍼보다 팔백만 배 넘게 크다(sources/newton/s9_imitation.py)

ML에서: 옵티마이저의 상태는 지도의 조각이다

파이토치의 옵티마이저는 파라미터와 따로 「상태(state)」를 들고 다닌다. torch.optim.SGD 에 momentum=0.9 를 주면 파라미터마다 지난 스텝을 기억하는 버퍼가 하나 생기고, torch.optim.Adam 은 파라미터마다 이동 평균을 두 개(exp_avg, exp_avg_sq) 들고 다닌다. 그래서 Adam 으로 학습하면 옵티마이저 상태만으로 파라미터의 두 배 메모리가 더 든다. 이 상태가 바로 흉내에 쓰는 지도의 조각이다. 모멘텀은 지난 스텝을, Adam 은 칸마다의 그래디언트 크기를, K-FAC 과 Shampoo 는 층마다 작은 행렬 몇 개를 들고 다니고, Muon 은 지난 스텝을 들고 다니다가 쓸 때마다 그 행렬의 특잇값을 모두 1 가까이로 모은다. 어떤 조각을 선택하느냐에 따라 메모리와 계산이 달라지고, 어떤 지형에서 잘 걷고 어떤 지형에서 헤매는지도 달라진다.

개념 다지기: 지도의 어느 조각을 버렸고, 그래서 언제 틀리나

김민준 M01
김민준

뉴턴 스텝은 어느 그릇에서나 한 스텝이었잖아요. 58스텝이나 363스텝 걸리는 방법을 왜 굳이 써요?

선생님 T02
선생님

4096 × 4096 행렬 하나의 헤시안이 얼마였죠?

김민준 M04
김민준

1.13 PB요. 아, 층 하나에 그거면 모델 전체는 저장할 수가 없네요. 들고 다닐 수 있는 건 67 MB, 134 MB 쪽뿐이고요.

이서연 S01
이서연

그러면 들고 다닐 수 있는 것 가운데 선택하는 거네. 대각 칸만 쓰는 게 제일 좋아 보이는데? 나란한 그릇에서는 뉴턴 스텝처럼 한 스텝이었잖아.

선생님 T01
선생님

돌린 그릇에서는요?

이서연 S06
이서연

363스텝이요. 경사하강이랑 똑같아요. 대각 칸이 50.5, 50.5로 같아져서 두 방향을 구별하지 못하니까요. 그럼 대각 칸만 쓰는 방법은 협곡이 축과 나란할 때만 통하는 거예요.

선생님 T14
선생님

신경망의 협곡은 축과 나란할까요?

김민준 M03
김민준

음, 가중치 하나하나가 따로 협곡을 이루지는 않을 것 같아요. 문제 2에서 대각 칸이 둘 다 3인데 가장 크게 휜 방향은 대각선이었고요. 파라미터들이 서로 결합되어 있으면 협곡은 비스듬히 누워 있겠네요.

이서연 S03
이서연

그러면 지난 스텝 하나를 기억하는 쪽은 돌려도 58스텝이니까 이게 더 안전하지 않아요? 버린 게 없는 것 같은데요.

선생님 T01
선생님

이 그릇은 어디서나 휨이 같은 2차 함수였어요. 무거운 공의 학습률과 기억의 세기는 무엇으로 정했죠?

이서연 S04
이서연

가장 큰 휨과 가장 작은 휨, 두 숫자로요. 아, 그 두 숫자가 자리마다 바뀌는 지형이면 한 번 정한 기억의 세기가 맞지 않아서, 지난 스텝이 오히려 엉뚱한 쪽으로 밀 수도 있겠네요.

김민준 M01
김민준

그러니까 흉내마다 버린 조각이 있고, 그 조각이 필요한 지형에서 틀리는 거구나. 대각 칸은 협곡의 방향을, 지난 스텝은 자리마다 바뀌는 휨을 버렸고요.

선생님 T14
선생님

식이 ½(θ₁² + 100θ₂²)로 다 드러난 그릇을 떠올려 봐요. 최솟점도 방향마다의 휨도 식에 다 보이는데, 경사하강은 왜 수백 스텝을 돌았죠?

김민준 M01
김민준

음… 학습률이 하나뿐이어서요. 가파른 방향에 맞춰 작게 잡은 학습률로 완만한 방향을 기어갔어요.

이서연 S01
이서연

뉴턴 스텝은 그 하나 대신 방향마다 휨의 역수를 학습률로 줬고. 그래서 한 스텝에 원점에 닿았지.

김민준 M09
김민준

아, / 255.0 으로 입력 크기를 맞추던 것도 결국 그릇을 둥글게 만들어 학습률 하나로 버티려던 거였네요. 뉴턴 스텝은 방향마다 휨의 역수를 학습률로 줘서 그게 필요 없었는데, 큰 신경망에서는 안장점에 끌리고 표가 너무 커서 그 지도를 다 들고 다닐 수가 없어요. 그래서 Adam 이 exp_avg_sq 같은 조각만 들고 다니면서 효과를 흉내 내는 거고요.

선생님 T13
선생님

그래요. 앞으로 만날 방법마다 「지도의 어느 조각을 들었나, 무엇을 버렸나, 그래서 어떤 지형에서 틀리나」 세 가지를 물어보면 이름이 많아도 길을 잃지 않아요.