모멘텀: 무거운 공과 네스테로프 가속

혼동하기 쉬운 점과 요약

토론 1. 모멘텀을 켜면 학습률을 열 배 줄여야 하나

조건수 100 그릇 ½(θ₁² + 100θ₂²)에서 경사하강으로 학습률을 찾아 η = 0.019 를 얻었다. 여기에 β = 0.9 의 모멘텀을 켤 때, 학습률을 열 배 줄여 0.0019 로 쓰면 되는가?

선생님 T01
선생님

조건수 100 그릇에서 경사하강으로 학습률을 찾았더니 0.019가 나왔어요. 여기에 모멘텀 0.9를 켜려고 해요. 학습률은 어떻게 할까요?

김민준 M01
김민준

모멘텀 0.9를 켜면 스텝이 1/(1 − 0.9) = 10배로 커지니까 학습률을 10분의 1인 0.0019로 줄여야죠. 그대로 두면 스텝이 벼랑 밖으로 나가서 터질 거고요. 다들 그렇게 하라던데요.

선생님 T01
선생님

원점까지 거리 0.001 안에 드는 스텝 수로 비교해 봐요. 경사하강 0.019, 그리고 모멘텀을 켜고 0.0019와 0.019를 각각 돌려 보세요.

김민준 M01
김민준

경사하강 0.019는 361스텝이에요. 모멘텀에 0.0019는 293스텝이고요. 조금 빨라졌네요. 0.019는… 132스텝이에요. 안 터졌어요.

선생님 T01
선생님

처음 추측과 비교하면요?

김민준 M04
김민준

터질 줄 알고 줄였는데, 안 줄인 쪽이 두 배 넘게 빨라요. 0.0019로 줄이면 모멘텀을 켠 보람이 거의 없고요.

이서연 S01
이서연

열 배는 그래디언트가 늘 같은 쪽일 때 얘기잖아. 이 그릇에서 학습률의 벼랑을 정하는 건 가파른 방향이고, 그 방향은 벽 사이를 오가.

선생님 T02
선생님

그럼 모멘텀을 켜면 벼랑은 어디로 갈까요?

김민준 M01
김민준

오가는 방향은 스텝이 오히려 줄어드니까… 벼랑은 뒤로 밀리겠네요. 문제 6에서 구한 대로면 2(1 + 0.9)/100 = 0.038까지요.

이서연 S06
이서연

그럼 0.0019는 너무 조심한 거고, 0.019를 그대로 두는 것도 넓어진 범위의 절반쯤에 머문 거네. 그 안에서 몇이 가장 좋은지는 어떻게 알아?

선생님 T01
선생님

모멘텀 계수를 바꾸면 곡률마다의 근이 다 바뀌어요. 그 변화를 학습률 하나에 곱할 숫자 하나로 미리 옮겨 적을 수 있을까요?

김민준 M08
김민준

그런 숫자가 없으니까, 모멘텀을 켜거나 계수를 바꾸면 학습률 찾기를 다시 해야겠네요. 열 배 줄이기는 그 찾기를 건너뛰려던 거였고요.

선생님 T13
선생님

그래요. 무거운 공의 벼랑은 ηL < 2(1 + β)로 넓어지고, 그 안에서 어디가 좋은지는 다시 측정해 봐야 알아요.

토론 2. 어차피 같은 곳에 멈춘다면 미리 보든 안 보든 결과가 같은가

곡률 1 인 한 방향에서 η = 0.5, β = 0.9 로 1 에서 출발한다. 그래디언트를 지금 자리에서 계산하는 무거운 공과, 기세대로 앞질러 본 자리에서 계산하는 네스테로프는 같은 결과를 내는가?

선생님 T01
선생님

nesterov=True를 켤지 말지 고민하는 친구가 있어요. 어차피 둘 다 같은 바닥으로 가는데 굳이 켤 필요가 있냐고요. 어떻게 생각해요?

이서연 S01
이서연

저도 같은 생각이 들어요. 빙판에서 넘어가는 거리는 달랐지만, 결국 둘 다 선 위에 멈췄잖아요. 같은 η, 같은 β를 쓰고 그래디언트가 0인 자리도 같으니까, 학습이 끝났을 때의 결과는 같다고 봐도 되지 않을까요?

선생님 T01
선생님

곡률 1인 한 방향에서 η = 0.5, β = 0.9로 1에서 출발해 봐요. 처음 다섯 스텝만 적어 볼까요?

김민준 M01
김민준

돌려 볼게. 무거운 공은 0.5, −0.2, −0.73, −0.842, −0.5218이고, 네스테로프는 0.5, 0.025, −0.2012, −0.2024, −0.1018이야. 첫 스텝만 같고 둘째부터 갈려.

이서연 S04
이서연

무거운 공은 0을 지나 −0.84까지 넘어가는데 네스테로프는 −0.2 언저리에서 돌아서네. 멈출 곳이 같다고 가는 길까지 같은 건 아니었어. 둘째 스텝에서 뭐가 달랐지?

선생님 T02
선생님

둘째 스텝에서 네스테로프는 어느 자리의 그래디언트를 계산했죠?

이서연 S01
이서연

지금 자리 0.5에 기세 0.9 × (−0.5)를 더한 0.05요. 무거운 공은 0.5에서 계산했고요. 0.05에서는 그래디언트가 거의 0이니까 덜 밀었어요.

김민준 M01
김민준

그럼 앞질러 본 자리는 「이 기세면 곧 0 근처에 간다」를 먼저 알고 있던 거네.

선생님 T01
선생님

0.001 안에 들어와 머물기까지는 각각 몇 스텝이 걸리죠?

김민준 M05
김민준

무거운 공은 132스텝, 네스테로프는 17스텝이에요. 학습을 100스텝에서 끊으면 무거운 공은 아직 출렁이는 중이고요.

이서연 S07
이서연

지금 자리에는 속도가 안 들어 있는데, 앞질러 본 자리에는 지금 속도가 들어 있어서 넘어갈 곳의 그래디언트가 미리 브레이크를 거는 거네요. 달걀을 삶을 때 다 익기 조금 전에 불을 끄는 것도 남은 열로 더 익을 만큼을 미리 계산에 넣는 거고요. 멈출 곳이 같아도 그래디언트를 어디서 계산하느냐에 따라 거기까지 가는 스텝 수가 달라요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
모멘텀이 모든 방향의 속도를 똑같이 1/(1 − β)배 키운다고 봄 2 부호가 늘 같은 방향은 1/(1 − β)배로 쌓이고, 번갈아 바뀌는 방향은 1/(1 + β)배로 깎인다
모멘텀 0.9는 학습률을 열 배 키운 경사하강과 같다고 봄 2 학습률 0.1의 경사하강은 조건수 100 그릇에서 터지지만, η = 0.01, β = 0.9의 무거운 공은 126스텝에 닿는다. 오가는 방향에서는 오히려 스텝이 준다
Adam의 1차 모멘트를 SGD 모멘텀 버퍼와 같은 크기로 봄 3 Adam은 (1 − β₁)을 곱한 가중 평균, SGD 버퍼는 합이라 1/(1 − β)배 크다. Adam은 1 − β₁ᵏ로 나눠 처음의 편향을 고친다
모멘텀 계수는 클수록 빠르다고 봄 4 근이 실수에서 복소수로 넘어가는 경계 (1 − √(ηλ))²가 가장 빠르다. 그보다 크면 근의 크기 √β 가 커져 출렁이며 느려진다
조건수를 작게 추정해도 크게 추정한 것과 같다고 봄 5 작게 추정하면 완만한 방향이 복소수 범위 밖으로 나가 가속을 잃는다. 크게 추정하면 가속은 남고 √(추정한 κ)만큼 걷는다
모멘텀을 켜면 학습률의 벼랑이 당겨진다고 봄 토론 1 무거운 공의 벼랑은 ηL < 2(1 + β)로 넓어진다. 계수를 바꾸면 학습률 찾기를 다시 한다
미리 보든 안 보든 결과가 같다고 봄 토론 2 앞질러 본 자리에는 지금 속도가 들어 있어, 넘어갈 곳의 그래디언트가 미리 브레이크를 건다
네스테로프가 무거운 공보다 늘 안전하다고 봄 8 실제 모멘텀 β(1 − ηλ)는 ηλ > 1이면 음수가 된다. 벼랑은 ηL < 2(1 + β)/(1 + 2β)로 무거운 공보다 앞에 있다
파이토치 nesterov=True 의 숫자가 논문 식과 다르면 버그라고 봄 9 파이토치는 앞질러 본 자리를 파라미터로 들고 다닌다. 같은 수열을 밀려서 적은 것이다

요약

헤시안을 계산하지 않았는데 momentum=0.9 한 칸이 학습을 빠르게 한 것은, 지난 스텝을 기억해 더하면 곡률을 계산하지 않고도 모든 방향이 같은 배율로 줄어 스텝 수가 조건수 대신 그 제곱근에 비례하기 때문이다. 조건수 100 그릇에서 폴랴크의 학습률과 계수로 굴린 무거운 공은 곡률 1인 방향부터 100인 방향까지 모두 한 스텝에 0.818배씩 줄었고, 가장 좋은 학습률의 경사하강이 363스텝 걸린 거리를 58스텝에 갔다. 조건수가 10000이면 36,272스텝과 708스텝이다. 0.9는 이 계산에서 나온 값이 아니라, 가장 큰 곡률과 가장 작은 곡률을 모르는 신경망에서 실험으로 고른 값이다. 조건수를 실제보다 크게 잘못 추정해도 가속은 남기 때문에 계수를 크게 잡고, 손실이 출렁이는 것은 그 대가다.

경사하강의 지그재그는 두 가지 스텝이 섞인 것이었다. 가파른 방향의 스텝은 부호를 바꿔 가며 벽 사이를 오가고, 완만한 방향의 스텝은 늘 같은 쪽이지만 아주 작다. 모멘텀(무거운 공 방법)은 지금 그래디언트에 지난 스텝들을 β배씩 흐리게 기억해 더한다. 오가는 스텝은 서로 지워지고 같은 쪽 스텝은 쌓여서, 같은 학습률에서도 스텝 수가 여러 배 준다. 버퍼 하나를 더 들고 다닐 뿐 그래디언트를 계산하는 비용은 그대로다. 1964년 폴랴크가 이 방법의 수렴 속도를 계산했고, 파이토치의 momentum=0.9 한 칸이 이것이다.

무거운 공 방법이 왜 빠른지는 한 방향의 두 근을 보면 알 수 있다. 곡률 λ인 방향에서 스텝마다 곱해지는 배율 r은 r² − (1 + β − ηλ)r + β = 0을 풀고, 근이 복소수이면 크기가 곡률과 상관없이 √β다. 가장 작은 곡률 μ부터 가장 큰 곡률 L까지가 모두 복소수 범위에 들게 η = 4/(√L + √μ)², √β = (√κ − 1)/(√κ + 1)로 선택하면 모든 방향이 같은 배율로 줄고, 스텝 수가 κ 대신 √κ에 비례한다. 방향마다의 곡률을 계산하지 않고 두 끝의 곡률만으로 곡률을 균일하게 한 효과를 흉내 낸 것이다. 네미롭스키와 유딘의 하한이 말하듯 그래디언트만 쓰는 방법에게 √κ는 넘을 수 없는 하한이다. 모멘텀 계수가 바뀌면 학습률의 벼랑도 2(1 + β)/L로 옮겨 간다.

폴랴크의 값은 2차 함수에서 계산한 것이라, 조각마다 곡률이 다른 볼록 함수에서는 무거운 공이 손실의 바닥 둘레를 맴돌 수 있다. 1983년 네스테로프는 기세대로 앞질러 본 자리에서 그래디언트를 계산하는 방법으로, 그래디언트가 립시츠 연속인 모든 볼록 함수에서 손실이 1/k² 로 줄어드는 수렴 속도를 보장했다. 앞질러 보기도 곡률을 계산하지 않고 곡률에 맞추는 방법이어서, 방향마다 모멘텀을 β(1 − ηλ)로 줄여 가파른 방향의 출렁임을 미리 꺾지만, 학습률이 1/λ 을 넘는 방향에서는 모멘텀을 거꾸로 걸어 벼랑을 앞당긴다. 2013년 서츠케버와 동료들이 이 방법을 모멘텀의 형태로 다시 적고 깊은 신경망에서 그 힘을 보였으며, 파이토치의 nesterov=True 는 앞질러 본 자리를 파라미터로 들고 다니는 같은 업데이트다.

정리 연습문제

물음. 모멘텀 계수 0.9인 무거운 공 방법이다. 그래디언트의 부호가 늘 같은 방향과, 스텝마다 부호가 번갈아 바뀌는 방향에서 스텝은 어떻게 되나?

  • [ ] 두 방향 모두 10배로 커진다 〔틀림: 부호가 번갈아 바뀌는 스텝은 지난 스텝과 서로 지워진다.〕
  • [x] 같은 방향은 10배로 쌓이고, 번갈아 바뀌는 방향은 절반쯤으로 깎인다 〔맞음: 같은 쪽 스텝은 쌓이고 오가는 스텝은 지워져서, 같은 학습률에서도 스텝 수가 여러 배 준다.〕
  • [ ] 같은 방향만 10배가 되고, 번갈아 바뀌는 방향은 그대로다 〔틀림: 지난 스텝의 기억은 부호가 반대인 지금 그래디언트에서 빠지므로, 번갈아 바뀌는 방향의 스텝은 줄어든다.〕

물음. 모멘텀 0.9는 학습률을 열 배 키운 경사하강과 같은가?

  • [ ] 같다. 같은 방향의 스텝이 10배로 쌓이니까 〔틀림: 조건수 100 그릇에서 학습률 0.1의 경사하강은 터지지만, 학습률 0.01과 모멘텀 0.9의 무거운 공은 126스텝에 닿는다.〕
  • [x] 다르다. 같은 쪽 스텝은 쌓이지만 오가는 방향에서는 오히려 스텝이 준다 〔맞음: 학습률을 열 배 키우면 모든 방향이 커져 가파른 방향에서 터진다. 모멘텀은 오가는 방향을 깎는다.〕
  • [ ] 다르다. 모멘텀은 학습률을 열 배 줄인 경사하강과 같다 〔틀림: 모멘텀을 켜도 학습률은 줄지 않고, 늘 같은 방향의 스텝은 오히려 쌓여 커진다.〕

물음. 조건수가 10,000인 2차 함수에서 고정 학습률의 경사하강은 조건수에 비례하는 스텝 수가 걸린다. 학습률과 모멘텀 계수를 잘 선택한 무거운 공은?

  • [ ] 똑같이 조건수에 비례한다. 모멘텀은 상수 배만 줄인다 〔틀림: 계수를 잘 선택하면 스텝 수가 비례하는 대상 자체가 바뀐다.〕
  • [x] 조건수의 제곱근에 비례한다. 그릇 ½(θ₁² + 10000θ₂²)에서는 36,272스텝이 708스텝으로, 50분의 1쯤이 된다 〔맞음: 모든 방향이 같은 배율로 줄게 계수를 선택하면 가장 완만한 방향도 함께 빨라진다. 그래디언트만 쓰는 방법에서는 이것이 넘을 수 없는 하한이다.〕
  • [ ] 조건수와 상관없이 몇 스텝이면 닿는다 〔틀림: 한 스텝에 닿는 것은 휨을 모두 아는 뉴턴 스텝의 일이다. 그래디언트만 쓰는 방법은 조건수의 제곱근보다 빨라질 수 없다.〕

물음. 경사하강에서 찾은 학습률의 벼랑이 있다. 모멘텀 0.9를 켜면 무거운 공의 벼랑은 어떻게 되나?

  • [ ] 당겨진다. 모멘텀을 켜면 학습률을 열 배 줄여야 한다 〔틀림: 무거운 공의 벼랑은 오히려 넓어진다.〕
  • [ ] 그대로다. 학습률 찾기는 다시 할 필요가 없다 〔틀림: 모멘텀 계수를 바꾸면 벼랑이 옮겨 가므로 학습률 찾기를 다시 한다.〕
  • [x] 넓어진다. 벼랑이 경사하강의 1.9배쯤 되는 학습률로 옮겨 간다 〔맞음: 무거운 공은 모멘텀 계수가 클수록 큰 학습률까지 견딘다. 모멘텀 0.9에서는 경사하강 벼랑의 1.9배까지다.〕

물음. 네스테로프 방법이 무거운 공과 다른 점으로 맞는 것은?

  • [ ] 미리 보든 안 보든 결과는 같다. 같은 곳에 멈추니까 〔틀림: 앞질러 본 자리에는 지금 속도가 들어 있어, 넘어갈 곳의 그래디언트가 미리 브레이크를 건다.〕
  • [ ] 무거운 공보다 늘 안전하다 〔틀림: 학습률이 그 방향 휨의 역수를 넘는 방향에서는 모멘텀이 거꾸로 걸려, 벼랑이 무거운 공보다 앞에 있다.〕
  • [x] 기세대로 앞질러 본 자리에서 그래디언트를 계산한다 〔맞음: 1983년 네스테로프는 이 방법으로, 그래디언트가 립시츠 연속인 모든 볼록 함수에서 손실이 줄어드는 수렴 속도를 보장했다.〕

물음. 파이토치의 nesterov=True로 기록한 파라미터의 수열이 논문 식으로 계산한 수열과 한 칸씩 차이가 나 보인다. 무엇 때문인가?

  • [ ] 파이토치 구현의 버그다 〔틀림: 같은 업데이트를 다른 변수로 적었을 뿐이다.〕
  • [x] 파이토치는 앞질러 본 자리를 파라미터로 들고 다닌다. 같은 수열을 밀려서 적은 것이다 〔맞음: 서츠케버와 동료들이 모멘텀의 형태로 다시 적은 업데이트와 같은 계산이다.〕
  • [ ] nesterov=True를 켜도 실제로는 무거운 공이 돈다 〔틀림: 앞질러 본 자리에서 그래디언트를 계산하는 네스테로프 업데이트가 돈다. 기록하는 자리만 다르다.〕

막힌 곳

이 장의 가속은 가장 큰 곡률과 가장 작은 곡률을 안다고 놓고 학습률과 계수를 계산했다. 신경망에서 그 두 숫자는 미리 알 수 없고, 학습하는 동안 바뀌기도 한다.