자주 하는 실수와 요약
자주 하는 실수
| 실수 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 몇 쌍의 두 점 사이 기울기가 작으면 립시츠 상수도 작다고 봄 | 1 | 몇 쌍으로는 상수의 아래쪽 어림만 얻는다. 상수는 모든 쌍에 대한 상한이다 |
| 어디서나 미분 가능하면 립시츠 연속이라고 봄 | 2 | x²은 미분 가능하지만 수직선 전체에서는 립시츠가 아니다. 상수는 구간 안의 가장 가파른 곳이 정한다 |
| 유클리드 길이로 잰 견고성 반지름이 크면 칸마다의 작은 변화에도 견고하다고 봄 | 3 | 칸이 많으면 칸마다의 작은 변화가 모두 같은 쪽으로 더해진다. 무작위 노이즈와 일부러 고른 노이즈는 다르다 |
| 직선 어림의 오차가 시간(거리)에 비례한다고 봄 | 4 | 그래디언트의 변화가 거리의 L배로 묶이면 오차는 ½L × 거리²으로 자란다 |
| 꺾인 점 하나만 빼면 큰 L 하나로 덮을 수 있다고 봄 | 5 | 꺾인 점 옆의 점들에서 필요한 L이 끝없이 커진다. 꺾인 점을 둥글려야(후버 손실) L이 생긴다 |
| 손실을 바꿔도 데이터가 같으면 L도 같다고 봄 | 6 | 로지스틱 회귀의 L은 같은 데이터 제곱 오차의 4분의 1 이하다. L은 손실과 데이터가 함께 정한다 |
| 늘어나는 두 배율로 넓이 배율을 구할 때 더하거나 평균 냄 | 7 | 넓이 배율은 특잇값의 곱이고 행렬식의 크기와 같다 |
| 고윳값이 1이면 행렬이 아무것도 늘이지 않는다고 봄 | 8 | 늘이는 배율은 특잇값이 정한다. 밀기 행렬은 고윳값이 1, 1이어도 가장 큰 특잇값이 1.618이다 |
| 저랭크 근사의 오차가 지운 특잇값의 합이라고 봄 | 9 | 스펙트럼 노름으로 잰 오차는 지운 것 가운데 가장 큰 특잇값이다. 특잇값으로 자른 근사가 가장 가깝다 |
| 층마다의 배율을 곱하면 실제 배율이 나온다고 봄 | 10 | 곱은 상한이다. 늘이는 방향이 층마다 어긋나면 실제는 훨씬 작다 |
| 사이에 끼운 돌리기는 길이를 안 바꾸니 결과에 영향이 없다고 봄 | 11 | 돌리기는 방향을 바꿔 늘이는 방향끼리 잇거나 어긋나게 한다. 곱이 상한에 다가가는 정도가 바뀐다 |
| 스펙트럼 정규화로 상한을 1로 맞추면 실제 배율도 1 근처라고 봄 | 12 | 실제 배율은 훨씬 작아질 수 있다. 깊이 쌓으면 신호가 줄어드는지 함께 본다 |
| 고정점이 생기려면 우연히 맞아야 한다고 봄 | 13 | 공간을 자기 안으로 보내는 축약 사상은 고정점을 꼭 하나 갖는다 |
| 모든 두 점 사이 거리가 줄어들면 축약 사상이라고 봄 | 14 | 줄어드는 비율 모두를 1보다 작은 수 하나로 묶을 수 있어야 한다. x + 1/x는 비율이 1로 다가가 고정점이 없다 |
| ‖W‖₂ > 1이면 평형 층이 답을 못 찾는다고 봄 | 15 | ‖W‖₂ < 1은 충분조건이다. 어기면 찾을 수도 있지만 장담이 사라지고, W = −2I처럼 두 값 사이를 오가기도 한다 |
| 미분방정식을 거꾸로 풀면 과거가 늘 하나로 정해진다고 봄 | 16 | 속도장이 립시츠가 아닌 점(빈 물통의 h = 0)에서는 거꾸로 푼 길이 여럿이다 |
| 매끄러운 속도장이면 해가 영원히 있다고 봄 | 17 | x²처럼 범위마다 L이 커지면 해가 유한한 시간에 무한대로 갈 수 있다. 정리는 해가 있는 동안의 유일성을 보장한다 |
| 립시츠 속도장에서도 두 샘플이 한 점으로 만날 수 있다고 봄 | 18 | 간격은 e^(−Lt)배 아래로 줄지 않는다. 서로 다른 출발점의 길은 만나지도 엇갈리지도 않는다 |
요약
이 장에서 한 일을 정리해 보자. 함수가 얼마나 빨리 변할 수 있는지를 숫자 하나로 묶은 것이 립시츠 상수다. 어느 두 점을 잡아도 함숫값의 차이가 거리의 L배를 넘지 않으면 그 함수는 립시츠 연속이다. |sin x|와 √|x|는 둘 다 0에서 꺾여 미분할 수 없지만, |sin x|는 상수 1로 묶이고 √|x|는 0 근처에서 두 점 사이 기울기가 끝없이 커진다. 립시츠는 1864년 푸리에 급수를, 1868년 미분방정식의 해를 따지면서 이 상한 조건(립시츠 조건)을 썼다. 분류기의 점수 함수가 L-립시츠이면 여유 m 안의 반지름 m/L 안에서는 어떤 노이즈도 답을 뒤집지 못한다.
그래디언트 자체가 L-립시츠인 함수가 L-매끄러운 함수다. 그러면 손실은 접선 위에 (L/2) × 거리²을 얹은 덮개 아래에 눌려 있고, 접선 어림의 오차는 거리의 제곱으로 자란다. 로지스틱 손실은 1/4-매끄럽고, |x|와 ReLU는 미분값이 한 점에서 뛰어 L-매끄럽지 않다. 이 L이 한 스텝의 크기를 얼마나 키워도 되는지를 정한다.
행렬은 돌리기 · 축마다 늘이기 · 돌리기로 쪼개진다(특잇값 분해, 벨트라미 1873·조르당 1874). 늘이는 배율이 특잇값이고, 가장 큰 특잇값이 행렬의 립시츠 상수, 곧 스펙트럼 노름이다. 넓이 배율은 특잇값의 곱이고, 고윳값과 특잇값은 다를 수 있다. 큰 특잇값 몇 개만 남긴 근사가 같은 랭크의 행렬 가운데 원래 행렬에 가장 가깝다(에커트–영 1936, 그보다 앞서 슈미트 1907). 층을 쌓은 신경망의 립시츠 상수는 층마다의 스펙트럼 노름의 곱을 넘지 않지만, 늘이는 방향이 층마다 어긋나 실제는 훨씬 작은 경우가 많다. 세게디와 동료들은 이 곱으로 적대적 예제의 불안정을 쟀고, 스펙트럼 정규화는 층마다 노름을 1로 나눠 이 곱을 1로 묶는다.
립시츠 상수가 1보다 작은 함수가 축약 사상이다. 공간을 자기 안으로 보내는 축약 사상은 고정점을 꼭 하나 가지고, 어디서 출발하든 되풀이하면 그 점으로 간다(바나흐 1922). 오차는 스텝마다 L배 이하로 줄고, 몇 스텝이면 충분한지 답을 몰라도 미리 계산할 수 있다. 계산기의 cos 단추가 0.739…에 멈추는 것, 평형 층이 고정점을 찾는 것이 이 정리의 예다.
속도장이 립시츠 연속이면 출발점마다 길이 꼭 하나다(피카르–린델뢰프 정리). 피카르의 되풀이는 길을 길로 보내는 축약 사상이고, 두 길의 간격은 e^(−Lt)배와 e^(Lt)배 사이에 머문다. √|x|처럼 립시츠가 깨지는 점에서는 같은 출발점에서 여러 길이 갈라진다. 플로우 매칭의 속도장이 립시츠이면 서로 다른 노이즈의 길은 만나지도 엇갈리지도 않는다.
막힌 곳
이 장은 립시츠 상수 L을 안다고 놓았다. 그러나 큰 신경망에서는 층마다의 스펙트럼 노름을 곱한 상한이 실제보다 수백 배 클 수 있고, 무작위 입력에서 잰 값은 아래쪽 어림일 뿐이라, 참값은 그 사이 어딘가에 있다. 손실의 L도 마찬가지인데, L을 모르는 채로 한 스텝을 얼마나 크게 디뎌도 손실이 줄어든다고 말할 수 있을까?
그리고 L-매끄러움은 위쪽 덮개만 준다. 손실이 접선 위로 너무 많이 휘지 않는다는 것만 말할 뿐, 아래로 충분히 휘어 있어서 손실의 바닥이 하나뿐인지는 말하지 않는다. 골짜기 바닥이 여럿이거나 평평하게 길게 이어져 있으면, 바닥을 찾았다는 것을 어떻게 알 수 있을까? 손실이 아래로도 휘어 있다는 약속이 있으면 무엇이 더 쉬워질까?