에필로그

원점으로 돌아오다

이 이름들은 우리가 그린 지도의 가장자리에 적힌 표지판이다.
각각이 하나의 새로운 여행이 될 수 있다.
하지만 그 여행을 시작하기 전에, 돌아보자.

저자가 처음 아마리를 알게 된 것은 μP(폭이 달라져도 학습률을 그대로 옮겨 쓰게 하는 설정)에 대해 알아보다가였다.
피셔 정보 행렬이라는 이름이 논문에서 반복되는데
피셔 정보 행렬이 뭔지 모르니까 논문이 읽히지 않았다.
검색하다가 아마리에 도달했고, 정보기하학이라는 풍경을 발견했다.

그리고 지금, Muon을 둘러싼 논문들에서도 같은 이름들이 나타난다.
피셔 정보 행렬. 자연 그래디언트. 스펙트럼 구조.
2년 전에 읽히지 않던 문장이 지금은 그림이 된다.
이 교재는 그 발견에서 시작되었고, 여기서 원점으로 돌아왔다.

돌아보자.
우리가 걸어온 길의 모든 갈림목에는 같은 선택이 있었다. 확률을 섞을(더할) 것인가, 곱할 것인가.
그리고 그 선택은 추상이 아니었다.
프리트레인이 넓혔고, 강화학습이 좁혔다.
디퓨전이 방향을 배웠고, 플로우 매칭이 경로를 배웠다.
피셔 계량이 자연 그래디언트 한 스텝의 크기를 재었고, Muon이 모든 방향의 크기를 1로 맞췄다.
확률을 섞는 m-측지선과 확률을 곱하는 e-측지선 사이를 번역하는 함수가 하나 있었다. log 다.
그리고 그 번역기의 너머에, 아직 우리가 이름 붙이지 못한 풍경이 있다.
지도는 계속된다.