뉴턴법과 헤시안: 곡률을 알면 한 번에

혼동하기 쉬운 점과 요약

토론 1. 입력의 척도를 조정하는 전처리는 뉴턴법에도 필요한가

2차 함수 f = ½(θ₁² + 10,000θ₂²) 를 (1, 1) 에서 내려간다. 척도를 조정해 φ = 100θ₂ 로 쓰기 전과 뒤에 뉴턴 스텝과 경사하강은 각각 어떻게 되는가?

선생님 T01
선생님

f = ½(θ₁² + 10,000θ₂²)를 (1, 1)에서 내려가려고 해요. θ₂ 쪽 휨이 θ₁ 쪽의 만 배예요. 어떻게 할까요?

김민준 M01
김민준

먼저 척도부터 조정해야죠. φ = 100θ₂로 바꾸면 f = ½(θ₁² + φ²)라 둥근 그릇이 돼요. 뉴턴법을 쓰더라도 이런 전처리는 해 두는 게 기본 아닌가요?

선생님 T01
선생님

조정하기 전과 뒤에 뉴턴 스텝을 각각 계산해 봐요.

김민준 M01
김민준

조정하기 전에는 그래디언트가 (1, 10,000), 헤시안이 diag(1, 10,000)이라 −H⁻¹∇f = −(1, 1)이에요. 한 스텝에 (0, 0)이요. 조정한 뒤에는 (θ₁, φ) = (1, 100)에서 그래디언트 (1, 100), 헤시안 diag(1, 1)이라 스텝이 −(1, 100), 역시 한 스텝에 (0, 0)이고요.

선생님 T01
선생님

두 결과를 비교하면요?

김민준 M04
김민준

둘 다 한 번에 바닥으로 가네요. 뉴턴은 전처리를 하든 안 하든 똑같아요.

이서연 S01
이서연

경사하강은 달라. 조정하기 전에는 학습률이 2/10,000 아래여야 해서, 1/10,000로 잡으면 θ₁ 쪽은 스텝마다 만분의 일씩밖에 안 줄어. 조정한 뒤에는 학습률 1로 한 스텝이고.

선생님 T02
선생님

척도를 바꿨을 때 그래디언트와 헤시안은 각각 몇 배가 됐죠?

김민준 M01
김민준

둘째 칸의 그래디언트는 10,000에서 100으로 100분의 1, 헤시안은 10,000에서 1로 만분의 1이요. 헤시안이 제곱으로 바뀌니까 H⁻¹∇f에는 100배가 남고, 그게 φ의 척도 100배랑 맞아요.

이서연 S07
이서연

헤시안이 척도를 이미 계산에 넣고 있으니까, 척도를 조정하는 일을 헤시안이 대신하는 거네요. 전처리는 경사하강이 그릇을 둥글게 보려고 하는 일이고요.

선생님 T13
선생님

그래요. 다만 실제 계산에서는 헤시안의 역행렬을 수치로 구하니까, 조건수가 아주 크면 반올림이 끼어든다는 것만 따로 기억해 두면 돼요.

토론 2. 고윳값의 절댓값으로 나누면 안장점 문제는 다 풀리나

변수 하나짜리 f(θ) = θ³/3 − θ 는 θ = 1 에서 극소, θ = −1 에서 극대다. θ = 0.05 에서 휨의 절댓값으로 나누는 안장 없는 뉴턴 스텝을 한 번 가면 어디로 가는가?

선생님 T01
선생님

f(θ) = θ³/3 − θ에서 θ = 0.05에 있어요. 극소는 1이에요. 안장 없는 뉴턴으로 한 스텝 가면 어디로 갈까요?

이서연 S01
이서연

안장 없는 뉴턴은 휨의 절댓값으로 나누니까 늘 내리막으로 가잖아요. 뉴턴의 문제는 휨이 음수인 데서 오르막으로 가는 거였으니까, 그것만 고치면 다 해결된 것 같아요. 1 근처로 가겠죠.

선생님 T01
선생님

계산해 봐요.

이서연 S01
이서연

그래디언트는 0.05² − 1 = −0.9975, 휨은 2 × 0.05 = 0.1이에요. 스텝은 0.9975/0.1 ≈ 9.98이니까… θ = 10.03이요.

김민준 M03
김민준

10.03이면 극소 1에서 한참 먼데?

이서연 S04
이서연

내리막 쪽으로 가긴 했는데 극소 1을 아홉 칸이나 지나쳤어요. 방향만 고쳤지 길이는 안 고쳤네요.

김민준 M01
김민준

휨 0.1로 나눈 게 문제네. θ = 0에서는 휨이 0이니까, 그 바로 옆에서는 그래디언트가 아무리 작아도 엄청 크게 부풀어.

선생님 T02
선생님

그럼 나누는 수의 아래를 1로 받쳐 보면요?

김민준 M01
김민준

max(0.1, 1) = 1로 나누면 스텝이 0.9975라 θ = 1.0475예요. 극소 바로 옆이요.

이서연 S07
이서연

절댓값은 스텝의 방향을 고치고, 아래를 받치는 수나 신뢰 영역은 스텝의 길이를 묶는 거네요. 둘 다 있어야 휨이 0 근처인 곳을 지나갈 수 있어요.

선생님 T13
선생님

그래요. 방향과 길이, 둘을 따로 고친 거예요.

토론 3. 학습이 오래 머무는 곳은 손실이 높은 극소인가

손실 f(θ) = ½θ₁² − ½θ₂² + ¼θ₂⁴ 를 (1, 0.000001) 에서 학습률 0.1 의 경사하강으로 내려간다. 손실은 30 스텝째 0.0009, 100 스텝째 −0.0001 이다. 손실이 거의 줄지 않는 이 구간은 극소인가?

선생님 T01
선생님

학습 곡선을 보니 손실이 30스텝째 0.0009, 100스텝째 −0.0001이에요. 70스텝 동안 거의 안 줄었죠. 여기서 학습을 멈출까요?

김민준 M01
김민준

이 정도로 오래 안 줄면 극소에 들어간 거죠. 손실이 조금 높긴 해도 거기가 이 모델이 갈 수 있는 바닥이고요. 저라면 끊고 다른 초기값으로 다시 돌려요.

선생님 T01
선생님

손실 식은 f = ½θ₁² − ½θ₂² + ¼θ₂⁴, 출발점은 (1, 0.000001)이었어요. 지금 자리의 헤시안을 볼까요?

김민준 M01
김민준

원점 근처라 헤시안이 diag(1, −1)쯤이에요. 고윳값 하나가 −1이요.

선생님 T01
선생님

고윳값 하나가 음수라는 건요?

김민준 M04
김민준

음수 고윳값이 있으니까 극소가 아니라 안장점이네요. 내려갈 방향이 남아 있었어요.

이서연 S01
이서연

그런데 왜 그쪽으로 안 내려갔지? θ₂ 쪽 그래디언트는 −θ₂ + θ₂³이니까 θ₂ = 0.000001이면 거의 0이야. 스텝마다 θ₂가 1.1배씩 커지기만 하니까, 0.000001에서 0.5쯤 되려면 백사십 스텝쯤 걸려.

선생님 T02
선생님

계속 돌리면 어떻게 될까요?

김민준 M01
김민준

돌려 보니 130스텝째 −0.027이고, 146스텝째에 −0.2 아래로 뚝 떨어져요. 160스텝째에는 극소의 손실 −0.25에 거의 닿고요. 평평하던 곡선이 갑자기 꺾였어요.

이서연 S07
이서연

안장점 둘레는 그래디언트가 아주 작아서 경사하강이 오래 머무는 거네요. 손실이 안 줄어든다는 것만으로는 극소인지 안장점인지 모르고, 가장 작은 고윳값을 측정해 봐야 알아요.

선생님 T13
선생님

그래요. 손실이 높은 임계점은 대부분 이런 안장점이에요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
축 방향의 휨만 측정하고 가장 휜 방향과 조건수를 판단함 2 헤시안의 엇갈린 칸이 0이 아니면 고유 방향은 축과 다르다. 조건수는 가장 큰 고윳값 ÷ 가장 작은 고윳값
대각 칸이 같으면 둥근 그릇이라고 봄 2 둥글려면 모든 방향의 휨이 같아야 한다. 엇갈린 칸까지 0이어야 한다
신경망의 헤시안도 선형 회귀처럼 어디서나 같다고 봄 3 2차 함수가 아니면 헤시안은 자리마다 다르다. 로지스틱 회귀만 해도 확신이 커지면 휨이 줄고 길쭉해진다
뉴턴법은 어디서 출발해도 몇 스텝에 닿는다고 봄 5 거리가 스텝마다 제곱이 되는 것은 2차 근사가 맞을 만큼 가까울 때뿐이다. 멀리서는 크게 벗어나므로 스텝을 줄여 보는 장치를 함께 둔다
입력의 단위를 바꾸면 뉴턴법도 전처리가 필요하다고 봄 토론 1 뉴턴 스텝은 척도를 바꾸거나 축을 돌려도 같은 자리로 간다. 헤시안이 그 일을 대신한다
그래디언트가 0인 곳이면 극소점이라고 봄 8 극소점, 극대점, 안장점을 구분하려면 헤시안의 고윳값 부호를 봐야 한다
뉴턴 스텝은 늘 내리막이라고 봄 8 휨이 음수인 방향에서 뉴턴 스텝은 오르막으로 간다. 안장점은 뉴턴을 끌어당긴다
고윳값의 절댓값으로 나누면 다 해결된다고 봄 토론 2 방향은 내리막이 되지만, 휨이 0 근처인 곳에서는 스텝이 터무니없이 커진다. 나누는 수의 아래를 받치거나 스텝 길이를 묶는다
방향마다 반반이면 극소일 확률이 (1/2)d 라고 봄 11 고윳값들은 서로 밀어내서, 모두 양수일 확률은 그보다 훨씬 빨리, 차원의 제곱을 따라 기하급수적으로 준다
학습이 오래 머무는 곳은 손실이 높은 극소라고 봄 토론 3 손실이 높은 임계점은 대부분 지수가 큰 안장점이다. 그 둘레의 평평한 고원이 1차 방법을 붙잡는다
켤레 그래디언트법은 파라미터 수만큼 곱해야 유용하다고 봄 14 스텝 수는 고윳값이 몇 가지이고 얼마나 분산됐는지가 정한다
헤시안–벡터 곱을 그래디언트 차분으로 구하면서 ε는 작을수록 좋다고 봄 15 너무 작으면 반올림 오차가 커진다. 두 번 미분으로 구하면 ε를 고를 일이 없다
헤시안의 대각 칸만 기준으로 나눠도 길쭉한 골짜기는 풀린다고 봄 개념 다지기 대각 칸은 협곡이 어느 쪽으로 누웠는지를 버린다. 협곡이 축과 나란하면 한 스텝이지만, 45° 돌린 같은 그릇에서는 경사하강과 같은 363스텝이다. 흉내마다 버린 조각이 그 방법이 틀리는 지형을 정한다

요약

식이 ½(θ₁² + 100θ₂²)로 다 드러난 그릇을 경사하강은 왜 수백 스텝 만에야 건넜을까? 학습률 하나를 모든 방향에 같이 썼기 때문이다. 방향마다의 휨을 담은 헤시안을 알면 학습률을 그 방향 휨의 역수로 따로 줄 수 있고, 그러면 이 그릇은 한 스텝에 건넌다. 그러나 큰 신경망에서 같은 나눗셈을 그대로 쓰면 휨이 음수인 방향에서 안장점으로 끌려가고, 헤시안 표는 만들 수 없을 만큼 크다. 그래서 실제 옵티마이저는 그 효과만 값싼 조각으로 흉내 낸다.

그래디언트는 손실이 어느 쪽으로 얼마나 빨리 바뀌는지를, 헤시안은 손실이 방향마다 얼마나 휘었는지를 알려 준다. 헤시안은 2차 편미분을 모은 대칭인 표이고 방향 u의 휨은 uᵀHu로 계산되므로, 방향은 끝없이 많아도 표 하나면 모든 방향의 휨을 안다. 가장 크게 휜 방향과 가장 작게 휜 방향은 헤시안의 고유 방향이고, 그 휨은 고윳값이며, 조건수는 두 고윳값의 비다. 축 방향의 휨만 측정하면 이것을 놓친다.

뉴턴 스텝은 지금 자리의 그래디언트와 헤시안으로 2차 근사를 세우고 그 최솟점으로 옮기는 스텝 −H⁻¹∇f다. 고유 방향마다 학습률을 1/λ로 따로 준 경사하강과 같아서, 2차 함수라면 조건수가 얼마든 한 스텝에 최솟점에 닿고, 입력의 단위를 바꾸거나 축을 돌려도 같은 자리로 간다. 2차가 아닌 함수에서도 극소점 가까이에서는 거리가 스텝마다 제곱이 되어 맞는 자릿수가 두 배씩 는다. 1669년 뉴턴의 손 계산에서 랩슨을 거쳐 1740년 심프슨이 도함수로 적은 방법이고, 심프슨은 최적화에도 쓸 수 있다고 적었다고 한다. 다만 멀리서 출발하면 2차 근사의 최솟점이 엉뚱한 곳에 있어 크게 벗어날 수 있다.

뉴턴 스텝이 찾는 것은 2차 근사의 그래디언트가 0인 곳이라, 휨이 음수인 방향에서는 오르막으로 가서 안장점에 끌려간다. 파라미터가 많은 지형에서는 그 안장점이 흔하다. 그래디언트가 0인 점이 극소이려면 모든 방향이 위로 휘어야 하는데, 그 확률은 차원의 제곱을 따라 기하급수적으로 줄고, 손실이 높은 임계점일수록 음수 고윳값의 비율(지수)이 크다. 도팽과 동료들은 안장점에 끌리는 성질 때문에 뉴턴법을 안장점을 찾는 도구로 쓰고, 고윳값의 절댓값으로 나누는 안장 없는 뉴턴을 냈다.

마지막 걸림돌은 크기다. 파라미터가 1억 개면 헤시안은 40 PB이고 뉴턴 스텝 한 번에 곱셈이 10²³번을 넘는다. 헤시안–벡터 곱 Hv는 그래디언트와 v의 내적을 한 번 더 미분해서, 표 없이 그래디언트 계산의 몇 배 비용으로 얻는다. 켤레 그래디언트법은 이 곱만으로 뉴턴 스텝을 근사하고, 스텝 수는 고윳값이 몇 가지이고 얼마나 분산됐는지로 정해진다.

그래도 스텝마다 곱을 수십 번 쓰는 값은 크다. 뉴턴 스텝이 협곡에서 한 일은 방향마다 학습률을 따로 준 것이었으므로, 헤시안의 역 대신 값싼 전조건 행렬을 곱해 그 효과만 얻는 방법들을 휨을 흉내 내는 방법이라 부른다. 조건수 100인 그릇에서 대각 칸만 쓰면 나란한 그릇은 한 스텝, 45° 돌린 그릇은 경사하강과 같은 363스텝이었고, 지난 스텝 하나를 기억하면 두 그릇 모두 58스텝이었다. 흉내마다 지도의 어느 조각을 들었는지가 다르고, 버린 조각이 그 방법이 틀리는 지형을 정한다.

정리 연습문제

물음. 2차 함수의 헤시안이 대각선 칸 2, 2와 엇갈린 칸 1로 되어 있다. 이 함수의 그릇을 바르게 말한 것은?

  • [ ] 대각선 칸이 같으니 둥근 그릇이다 〔틀림: 둥글려면 모든 방향의 휨이 같아야 하고, 그러려면 엇갈린 칸까지 0이어야 한다.〕
  • [x] 둥글지 않다. 두 대각선 방향의 휨이 3과 1이고, 조건수는 3이다 〔맞음: 엇갈린 칸이 0이 아니면 고유 방향이 축과 다르다. 조건수는 가장 큰 고윳값을 가장 작은 고윳값으로 나눈 값이다.〕
  • [ ] 둥글지 않다. 가장 크게 휜 방향은 가로축이다 〔틀림: 축 방향의 휨은 둘 다 2로 같다. 가장 크게 휜 방향은 축이 아니라 대각선 방향이다.〕

물음. 조건수가 1000인 2차 함수에서 뉴턴 스텝을 한 번 디딘다. 어디로 가나?

  • [ ] 조건수에 비례하는 수만큼 스텝을 더 디뎌야 최솟점에 닿는다 〔틀림: 조건수에 비례해 걷는 것은 고정 학습률의 경사하강이다.〕
  • [x] 한 스텝에 최솟점에 닿는다 〔맞음: 뉴턴 스텝은 고유 방향마다 학습률을 그 방향 휨의 역수로 따로 준 경사하강과 같아서, 2차 함수라면 조건수가 얼마든 한 스텝이면 된다.〕
  • [ ] 입력의 척도를 조정하는 전처리를 먼저 해야 최솟점에 닿는다 〔틀림: 뉴턴 스텝은 입력의 단위를 바꾸거나 축을 돌려도 같은 자리로 간다. 헤시안이 전처리를 대신한다.〕

물음. 2차 함수가 아닌 손실에서 뉴턴법을 쓴다. 맞는 것은?

  • [ ] 어디서 출발해도 몇 스텝이면 극소점에 닿는다 〔틀림: 거리가 스텝마다 제곱이 되는 것은 2차 근사가 맞을 만큼 가까울 때뿐이다.〕
  • [x] 극소점 가까이에서는 맞는 자릿수가 스텝마다 두 배씩 늘지만, 멀리서는 크게 벗어날 수 있어 스텝을 줄여 보는 장치를 함께 둔다 〔맞음: 멀리서는 2차 근사의 최솟점이 엉뚱한 곳에 있을 수 있다.〕
  • [ ] 극소점 가까이에서도 경사하강처럼 스텝마다 거리가 일정한 비율로만 준다 〔틀림: 극소점 가까이에서는 거리가 스텝마다 제곱이 되어 훨씬 빨리 준다.〕

물음. 그래디언트가 0이고 헤시안의 고윳값이 +2와 −1인 점 가까이에서 뉴턴 스텝을 디딘다. 어떻게 되나?

  • [ ] 그래디언트가 0이니 극소점이다. 그대로 머문다 〔틀림: 고윳값 하나가 음수라 안장점이다. 극소점인지는 헤시안의 고윳값 부호로 구분한다.〕
  • [ ] 뉴턴 스텝은 늘 내리막이라 안장점을 빠져나간다 〔틀림: 휨이 음수인 방향에서 뉴턴 스텝은 오르막으로 간다.〕
  • [x] 안장점으로 끌려간다 〔맞음: 뉴턴 스텝은 2차 근사의 그래디언트가 0인 곳을 찾으므로, 안장점도 목표가 된다.〕

물음. 학습하는 동안 손실이 높은 값에서 오래 줄지 않고 머문다. 그곳은 대개 무엇인가?

  • [ ] 손실이 높은 극소점 〔틀림: 극소이려면 모든 방향이 위로 휘어야 하는데, 그럴 확률은 차원이 커질수록 아주 빨리 준다.〕
  • [x] 안장점과 그 둘레의 평평한 고원 〔맞음: 손실이 높은 임계점일수록 음수 고윳값의 비율이 크다. 둘레의 평평한 고원이 1차 방법을 붙잡는다.〕
  • [ ] 극대점 〔틀림: 극대이려면 모든 방향이 아래로 휘어야 해서 극소만큼 드물다.〕

물음. 파라미터가 1억 개인 모델에서 뉴턴 스텝을 근사하려 한다. 맞는 방법은?

  • [ ] 헤시안 표를 만들어 두고 역행렬을 구한다 〔틀림: 헤시안 표만 40 PB라 만들 수 없고, 뉴턴 스텝 한 번의 곱셈 수도 감당할 수 없다.〕
  • [x] 표 없이 헤시안–벡터 곱을 구하고, 켤레 그래디언트법으로 뉴턴 스텝을 근사한다 〔맞음: 헤시안–벡터 곱은 그래디언트와 벡터의 내적을 한 번 더 미분해, 그래디언트 계산의 몇 배 비용으로 얻는다.〕
  • [ ] 헤시안–벡터 곱을 그래디언트 차분으로 구하고, ε는 작을수록 좋다 〔틀림: ε가 너무 작으면 반올림 오차가 커진다. 두 번 미분으로 구하면 ε를 고를 일이 없다.〕

막힌 곳

헤시안–벡터 곱으로 휨을 측정해 보니 출발점 근처의 작은 신경망에서도 고윳값의 절반가량이 음수였다. 이 장의 계산은 모두 지금 있는 곳에서 측정한 휨으로 바로 그곳의 스텝을 고친 것이어서, 학습이 파라미터를 옮겨 가는 동안 가장 크게 휜 방향의 휨이 어떻게 달라지는지는 말하지 못했다.