자주 하는 실수와 요약
자주 하는 실수
| 실수 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 최대화하는 변수를 헷갈림 (x와 s) | 1 | max나 sup 아래에 적힌 변수만 움직인다 |
| −√(1 − s²)를 |s| > 1에도 그대로 씀 | 2 | 기울기가 s인 점이 없으면 sup 정의로 돌아간다 |
| 「정의되지 않음」과 +∞를 혼동 | 2, 6 | 격자를 넓혀 값이 따라 커지는지 본다 |
| 미분할 수 없는 점이 있으면 켤레가 +∞라고 봄 | 2 | 꺾인 점 하나에 여러 기울기의 자가 걸린다. sup 정의를 그대로 쓴다 |
| 몰아서 드는 비용을 하루치로 나누지 않음 | 3 | 이틀 치 비용은 이틀로 나눠 견준다 |
| f′(x) = s의 해를 하나만 찾고 멈춤 | 4 | 볼록이 아니면 모든 해에서 sx − f(x)를 비교한다 |
| 매끄러우면 두 번 변환해 제자리라고 봄 | 4 | 조건은 매끄러움이 아니라 볼록. 아니면 볼록 껍질이 나온다 |
| 운동량을 「질량 × 속도」로 씀 | 5 | p = ∂L/∂q̇를 정의대로 미분한다 |
| 변환 결과를 옛 변수로 적은 채 끝냄 | 5 | 새 변수(기울기)만으로 다시 쓴다. 미분의 뜻이 달라진다 |
| logsumexp를 엄격한 볼록 함수로 봄 | 6 | 로짓 전체에 상수를 더하는 방향으로는 직선이다 |
| argmax가 ln Z를 만드는 분포라고 봄 | 6 | 엔트로피 항까지 더하면 답은 softmax다 |
| 모자란 양 × 가격을 놓친 이윤으로 셈 | 7 | 덜 든 비용도 뺀다. 놓친 이윤은 틈 c(x) + c*(s) − sx |
| 원-핫 정답의 기울기를 유한한 로짓에서 0으로 만들 수 있다고 봄 | 8 | 기울기 p − y가 0이려면 softmax가 원-핫이어야 하는데, 유한한 로짓에서는 그렇게 되지 않는다 |
| 부드러운 라벨의 교차 엔트로피를 펜헬–영 틈으로 봄 | 9 | 교차 엔트로피 = 틈(KL) + H(y). 바닥은 0이 아니라 H(y) |
| 하한이 0이면 쓸모없다고 봄 | 10 | 비평 함수를 결과마다 가장 좋게 고르면 하한이 KL에 닿는다 |
| 하한이 참값보다 작으면 계산이 틀렸다고 봄 | 11 | 하한은 최적의 비평 함수에서만 참값과 같다 |
| NWJ와 DV를 같은 것으로 봄 | 11 | DV는 상수 이동에 불변이고 항상 NWJ 이상이다 |
| 비평 함수가 나빠서 추정값이 0에 머문다고 봄 | 12 | 짝을 섞지 않으면 같은 분포끼리의 KL, 곧 0을 재고 있다 |
요약
이 장에서 한 일을 정리해 보자. 공장의 비용 곡선에서 가격별 최대 이윤표를 만들고, 그 표가 곡선의 접선들의 절편을 적은 것이며 같은 조작으로 비용 곡선을 되찾을 수 있음을 확인했다. 이 조작이 르장드르 변환이고 그 결과가 켤레 f*(s) = sup_x(sx − f(x))이며, 미분할 수 있으면 「기울기를 새 변수로, sx − f를 새 함수로」라는 두 단계가 된다. 볼록 함수는 두 번 변환하면 제자리로 돌아오고 두 함수의 도함수는 서로 역함수이지만, 볼록이 아니면 볼록 껍질만 남는다. 역학에서는 라그랑지안을 속도에 대해 변환하면 운동량이 새 변수로, 에너지가 새 함수로 나오므로 E = q̇·∂L/∂q̇ − L이라는 모양은 이 변환의 결과다. ML에서는 확률이 로짓의 기울기 변수이고, 로그 분배함수의 켤레는 음의 엔트로피이며, 교차 엔트로피 손실은 펜헬–영 부등식의 틈이고, 그 로짓 기울기 「softmax 출력 − 정답」은 로그 분배함수의 기울기와 직선의 기울기의 차이다. 두 클래스에서는 로그 분배함수의 기울기가 sigmoid, 그 켤레의 기울기가 logit이라 둘이 서로 역함수다. 발산 안의 볼록 함수를 켤레로 풀면 밀도 비가 사라지고 비평 함수에 대한 최대화만 남는데, 이것이 f-GAN과 MINE이 샘플만으로 발산을 재는 방법이다.
막힌 곳
이제 우리는 라그랑지안을 속도 대신 운동량의 함수로, 곧 에너지 E(q, p) = p²/(2m) + U(q)로 옮겨 적을 수 있고, 두 방식이 같은 정보를 담는다는 것도 안다. 하지만 변수를 바꾼 것만으로는 아직 얻은 것이 없다. 운동방정식은 여전히 라그랑지안에서 나온 가속도의 방정식으로 적혀 있고, 진자 문제에서 적어 둔 두 식 ∂E/∂p = q̇과 ∂E/∂q = −∂L/∂q가 무엇을 말하는지도 아직 모른다. 위치와 운동량을 두 축으로 하는 평면에 물체의 상태를 점 하나로 찍으면, 시간이 흐를 때 그 점은 어떤 규칙으로 움직이며, 그 평면에서 여러 상태가 함께 차지하는 넓이는 시간이 지나면 어떻게 될까?