문제 9의 과일 바구니에서는 사과 3개를 넣고 배 2개를 빼 바구니가 크게 바뀌었는데, 영수증은 그대로라 끌어온 자로 잰 크기가 0이었다. 문제 10의 구면에서도 극에서는 경도 방향의 길이가 0이었다. 0이 아닌 변화에 길이 0을 주는 것을 자라고 부를 수 있을까? 끌어온 것은 언제 제대로 된 계량이 될까?
번역표가 납작해지면. 끌어온 f∗g가 늘 제대로 된 자인 것은 아니다. 번역표가 0이 아닌 어떤 화살표를 0으로 보내면, 곧 다이얼을 돌렸는데 결과가 움직이지 않는 방향이 있으면, 그 방향의 길이는 저쪽 자로 재도 0이다. 0이 아닌 화살표에 늘 양수를 주어야 한다는 계량의 조건(양의 정부호)이 깨진다. 끌어온 것이 진짜 계량이 되려면 번역표가 어떤 화살표도 0으로 보내지 않아야 한다.
저쪽 자로 잰 길이가 ϵ 이하인 이쪽의 변화들을 붉게 칠했다. 위: 번역표가 어떤 화살표도 0으로 보내지 않으면 끝이 있는 타원이다. 아래: 번역표가 한 방향을 0으로 보내면 그 방향으로는 아무리 가도 길이가 0이라 끝없는 띠가 된다
몰입 (납작해지지 않는 함수 / Immersion) — 모든 점에서 번역표 J가 0이 아닌 화살표를 0으로 보내지 않는 매끄러운 함수 f:M→N. 이때만 끌어온 f∗g가 모든 방향에 양수 길이를 주는 진짜 계량이 된다. 되돌릴 수 있을 필요는 없지만, M의 차원이 N보다 크면 몰입이 될 수 없다. 이쪽 방향이 저쪽보다 많으니 어떤 방향은 눌릴 수밖에 없다. 일상어 「몰입(깊이 빠져듦)」과는 이름만 같다.
납작해지는 곳에는 두 종류가 있다. 극좌표는 r=0에서, 구면좌표는 극에서만 몰입이 아니다. 좌표를 붙이는 방식 탓일 뿐 평면과 구면 자체는 멀쩡하고, 그 한 점을 피해 다른 좌표를 쓰면 된다. 반면 과일 바구니처럼 다이얼이 둘인데 결과가 수 하나이면, 어디서나 한 방향이 눌린다. 피할 곳이 없다. 아래 위젯에서 「로짓 두 개 → 확률」을 누르면 이 경우가 보인다. 끌어온 타원이 한 방향으로 끝없이 펴져 띠가 된다. 위젯은 풀백 절의 것과 같고, 이 페이지에서는 「로짓 두 개 → 확률」로 열린다.
ML에서: 과매개화와 특이 피셔 행렬
여기서 움직이는 것은 신경망의 매개변수다. 서로 다른 가중치가 똑같은 함수를 만드는 방향이 있는 신경망에서는, 그 방향을 번역표가 0으로 보낸다. 끌어온 자는 그 방향을 "길이 0"으로 판정하고, 피셔 행렬은 역행렬이 없는 특이행렬이 된다. 자연 경사를 실제로 계산할 때 피셔 행렬에 단위행렬의 작은 배수를 더하는 감쇠항이나, 역행렬이 없을 때 그 대신 쓰는 유사역행렬(pseudo-inverse)을 쓰는 것은 이 지점을 우회하는 처방이다.
가우스-뉴턴 행렬. 손실의 곡률도 출력 쪽에서 재기가 쉽다. 네트워크 출력으로 두 번 미분한 손실의 헤세 행렬 Hz를 네트워크의 번역표로 끌어온 JTHzJ가 일반화 가우스-뉴턴 행렬(뉴턴법이 쓰는 손실의 헤세 행렬 대신, 출력 쪽 곡률만 끌어와 만든 행렬)이다. 마튼스(J. Martens)가 정리한 대로, 소프트맥스와 교차 엔트로피를 함께 쓰면 이 행렬은 피셔 행렬과 같다. 다만 출력 수보다 매개변수가 많으면 번역표가 어떤 방향은 반드시 눌러 버리므로, 이 행렬도 특이하다.
문제 11 — 로짓 두 개짜리 모델의 피셔 행렬
킬러 로짓 두 개 (θ1,θ2)(로짓은 흔히 z로 적지만, 여기서는 학습하는 매개변수라 좌표 글자 θ로 적었다)를 소프트맥스에 넣어 두 결과의 확률을 내는 모델에서, 첫 결과의 확률은 p=1/(1+e−(θ1−θ2))이다. 결과가 둘인 분포 공간의 자는 g=1/(p(1−p))다(dp 하나로 쓴 ∑a(dpa)2/pa). 이 자를 끌어와 피셔 행렬 F=JTgJ를 구하고, (θ1,θ2)=(log3,0)에서의 값과 행렬식을 적어라. 길이가 0인 방향은 무엇이고, 무슨 뜻인가? 위 위젯의 「문제 11 불러오기」로 그 점의 값을 확인할 수 있다.
