최적화: 경사하강에서 Muon 까지

미분과 근사에서 출발해 역전파, 2차 방법, Adam, Muon, μP, 최적 수송, 일반화까지

1. 머리말: 경사하강에서 Muon 까지
2. 미분과 근사
3. 손실 지형: 공을 굴려 손실의 바닥을 찾는 첫 실험
4. 그래디언트와 자코비안: 미분 가능성에서 연쇄법칙까지
5. 테일러 전개: 0·1·2차 근사의 사다리
6. 립시츠 연속: 함수가 얼마나 빨리 변할 수 있나
7. 볼록이면 왜 쉬운가: 극소가 곧 최소
8. 0차 최적화
9. 미분 없이: 0차 최적화
10. 진화 알고리즘: 개체군으로 하는 탐색
11. 1차 최적화
12. 역전파: 자코비안 곱을 거꾸로
13. 가중치 초기화: 신호가 커지지도 사라지지도 않게
14. 경사하강: 학습률은 어디까지 키울 수 있나
15. 확률적 경사하강: 노이즈 섞인 그래디언트로 걷기
16. 2차 최적화
17. 뉴턴법과 헤시안: 곡률을 알면 한 번에
18. 샤프니스: 안정성의 가장자리
19. 2차의 근사와 큰 모델의 스텝
20. 모멘텀: 무거운 공과 네스테로프 가속
21. 적응 학습률: AdaGrad 에서 AdamW 까지
22. 곡률 근사: 준뉴턴에서 K-FAC·Shampoo 까지
23. Muon: 노름을 바꾸면 가장 가파른 방향이 바뀐다
24. μP: 폭이 달라져도 같은 학습률로
25. 분포를 옮기는 최적화
26. 최적 수송: 흙을 가장 적게 나르는 짝짓기
27. WGAN: 최소최대와 1-립시츠 판별기
28. 최적화가 일반화를 만든다
29. 암묵적 편향: 옵티마이저가 고르는 해
30. 이중 하강: 외우고 나서도 나아진다
31. 맺음: 남은 물음