혼동하기 쉬운 점과 요약
토론 1. 펜헬–영 갭은 F* 가 가장 작은 곳에서 가장 작은가
F(θ) = θ²/2 에서 θ = 3 으로 고정할 때, 펜헬–영 갭 F(3) + F*(η) − 3η 를 가장 작게 하는 η 는 어디인가?

F(θ) = θ²/2 이면 F*(η) = η²/2 였죠. θ = 3 으로 고정하고, 펜헬–영 갭 F(3) + F*(η) − 3η 를 가장 작게 하는 η 를 찾아봐요.

F(3) = 4.5 는 고정이니까 움직이는 건 F*(η) 쪽이에요. F*(η) = η²/2 는 η = 0 에서 가장 작으니까… 갭도 η = 0 에서 가장 작지 않을까요?

η = 0 에서 갭이 얼마인지 넣어 봐요. η = 3 도요.

η = 0 이면 4.5 + 0 − 0 = 4.5, η = 3 이면 4.5 + 4.5 − 9 = 0 이에요. 3 에서 훨씬 작아요. 움직이는 게 F* 하나라고 보고 −3η 를 빼먹었어요.

나머지도 넣어 봤어. η = 1 이면 2, η = 2 면 0.5, η = 4 면 0.5. 3 에서 0 이고 양쪽으로 똑같이 커져.

왜 하필 3 이었을까요? F 의 θ = 3 에서의 기울기는요?

F′(θ) = θ 니까 3 이요. 맞물린 짝 η = F′(θ) 에서 갭이 0 이 되니까 거기가 가장 작아요. 식을 정리하면 갭이 (η − 3)²/2 라서 바로 보이고요.

그럼 F* 가 가장 작은 η = 0 은 무엇과 맞물린 짝이야?

F*′(η) = η 니까 η = 0 은 θ = 0 의 짝이야. F* 의 최소점은 θ = 0 에서 맞물리는 자리라서, θ = 3 으로 고정한 갭과는 상관이 없어.

그래요. 펜헬–영 갭에는 θ 와 η 가 함께 들어간 −θη 가 있어서, θ 를 고정하고 η 를 움직이면 이 항이 기울기를 더해요. 그래서 가장 작은 곳이 F* 의 최소점에서 η = F′(θ) 로 옮겨 가요. 갭을 가장 작게 하는 η 는 F* 의 모양이 아니라 맞물림 조건 η = F′(θ) 에서 읽어요.
토론 2. η log η 는 η = 0 에서 값이 없나
정답 라벨이 1 인 예제에서 F*(1) = 1 · log 1 + 0 · log 0 을 numpy 로 그대로 계산하면 무엇이 나오고, 그 값은 어떻게 정해야 하는가?

문제 7(제곱 오차와 크로스 엔트로피)에서 F*(1) = 0 으로 썼어요. 민준 학생, 1 · log 1 + 0 · log 0 을 numpy 로 그대로 계산해 보면요?

1 * np.log(1) + 0 * np.log(0) 을 넣으면… 경고가 뜨고 nan 이 나와요. np.log(0) 이 −inf 이고, 0 × (−inf) 가 nan 이에요.

그럼 F* 는 η = 1 에서 값이 없는 거 아니에요? 정의역이 [0, 1] 이라고 했는데, 끝점에서는 식이 서지 않는 것 같아요.

0 을 바로 넣지 말고 0 에 다가가 봐요. η log η 를 η = 0.1, 0.01, 0.001 에서요.

−0.230, −0.046, −0.0069 예요. 0 으로 가네요. log η 가 −∞ 로 가는 것보다 η 가 0 으로 가는 쪽이 이기나 봐요.

정의로도 확인할 수 있어. F*(1) = sup(θ − log(1 + eᶿ)) 이잖아. θ − log(1 + eᶿ) 는 −log(1 + e⁻ᶿ) 로 바꿔 쓸 수 있고, θ 를 키우면 아래에서 0 에 다가가. 그러니까 sup 이 0 이야.

극한으로 봐도 0, 르장드르 변환의 sup 으로 봐도 0 이네요. 끝점에서 값이 없는 게 아니라, 식을 그대로 넣은 계산이 끝점을 못 다룬 거였어요.

그래요. 엔트로피와 크로스 엔트로피에서는 0 · log 0 = 0 으로 정해요. 극한값이면서 sup 의 값이라 편의로 정한 약속이 아니에요. 코드에서는 scipy.special.xlogy(η, η) 처럼 0 을 따로 다루는 함수를 써요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 왕복의 평균 속력을 두 속력의 산술평균으로 계산 | 1 | 거리를 똑같이 나눴으면 1 km당 걸린 시간을 평균한다. 1/v가 볼록이라 젠센 부등식의 한 경우가 되고, 시간을 똑같이 나눴을 때만 산술평균이 맞다 |
| 미분해서 0으로 놓은 해를 정의역을 확인하지 않고 르장드르 변환의 답으로 씀 | 4 | 그 해가 정의역 안에 있을 때만 답이 된다. 밖에 있으면 정의의 sup으로 돌아가 본다. F(θ) = −log θ이면 η ≥ 0에서 F* = +∞다 |
| 격자에서 찾은 최댓값을 진짜 sup으로 봄 | 4 | 격자 sup은 언제나 진짜 sup 이하다. 격자 끝 칸에서 최댓값이 나오면 격자를 넓힌다 |
| 바이어스(로짓) 자리에 일치시키려는 확률을 그대로 넣음 | 5 | 바이어스 0.02는 확률 0.505다. 확률 π에 일치시키려면 θ = (F*)′(π) = log(π/(1 − π))로 둔다 |
| 꺾인 점에서도 펜헬–영 등호는 η = F′(θ)일 때만 선다고 봄 | 6 | 꺾인 점을 받치는 직선의 기울기는 구간 하나 전체(서브그래디언트)다. 그 구간의 모든 η에서 등호가 선다 |
| θ를 고정한 펜헬–영 갭이 F*가 가장 작은 η에서 가장 작다고 봄 | 토론 1 | 갭에는 θ와 η가 함께 든 −θη 항이 있다. 갭이 가장 작은(0인) 곳은 맞물린 짝 η = F′(θ)다 |
| numpy가 낸 nan을 보고 η log η가 η = 0에서 값이 없다고 봄 | 토론 2 | 극한으로도 르장드르 변환의 sup으로도 0이다. 0 · log 0 = 0은 편의로 정한 약속이 아니다 |
| 두 번 변환한 F**가 원래 함수와 다르면 계산 버그라고 봄 | 8 | 볼록하지 않은 함수를 두 번 변환하면 아래에서 받치는 가장 큰 볼록함수(볼록포)가 나온다 |
| L + ℋ = pv가 어떤 라그랑지안에서나 매 순간 선다고 봄 | 8 | 라그랑지안이 속도에 대해 볼록할 때의 이야기다. 볼록하지 않으면 한 운동량에 속도가 여럿이고, 등식은 L이 볼록포와 겹치는 곳에서만 선다 |
요약
같은 볼록함수는 점마다의 높이 F 대신 기울기마다의 접선 F* 로도 적히고, 두 좌표 θ 와 η 가 η = F′(θ) 로 맞물려 있어서 한쪽에서 방정식을 풀어야 하는 물음이 다른 쪽에서는 읽기만 하면 되는 물음이 된다. 드문 양성 데이터에서 경사하강이 1000스텝 걸려 닿은 바이어스 −3.89 를 짝 함수의 기울기가 한 줄로 알려 준 것이 그 예다.
이 장은 볼록함수 하나에서 시작했다. 볼록함수에서는 함수의 평균이 평균의 함수보다 크거나 같다(젠센 부등식). 그 차이인 젠센 갭은 x²에서 분산이 되고, 엄격 볼록이면 값이 한 점에 집중됐을 때만 0이다. 왕복의 평균 속력과 문서마다 구한 퍼플렉서티의 평균도 같은 부등식으로 읽혔고, 어느 쪽에 같은 비중을 주느냐가 답을 바꿨다.
르장드르 변환 F*(η) = sup(θη − F(θ))는 볼록함수를 높이 대신 접선의 표로 다시 적는다. 기울기가 η인 점을 찾는 물음이 그 표에서는 읽기만 하면 되는 물음이 되고, 기울기끼리는 (F′)⁻¹ = (F*)′로 이어진다. 닫힌 볼록함수라면 두 번 변환해 원본이 돌아온다. 볼록하지 않으면 볼록포가 돌아온다.
펜헬–영 부등식 F(θ) + F*(η) ≥ θη는 η = F′(θ)로 맞물린 짝에서만 등호가 된다. 그 차이인 펜헬–영 갭은 F = θ²/2이면 제곱 오차의 절반이고, F(θ) = log(1 + eᶿ)이면 크로스 엔트로피다. 역학의 라그랑지안에서 해밀토니안으로 넘어가는 다리도 같은 변환이다.
정리 연습문제
물음. 60 km 떨어진 도시까지 갈 때는 시속 30 km로, 돌아올 때는 시속 90 km로 달렸다. 왕복의 평균 속력은?
- [ ] 시속 60 km. 두 속력의 평균이다 〔틀림: 두 속력의 산술평균은 갈 때와 올 때 같은 시간을 달렸을 때의 답이다. 같은 거리를 달리면 느린 구간에 더 오래 머문다.〕
- [x] 시속 45 km 〔맞음: 갈 때 2시간, 올 때 40분이 걸려 120 km를 2시간 40분에 달렸다. 거리를 똑같이 나눴으니 1 km당 걸린 시간을 평균해야 한다.〕
- [ ] 시속 60 km보다 빠르다 〔틀림: 느린 구간에서 더 오래 머물므로 평균 속력은 느린 쪽으로 끌려 산술평균보다 작다.〕
물음. 볼록함수 f(x) = x²에서 젠센 갭 E[f(X)] − f(E[X])는 무엇인가?
- [x] X의 분산 〔맞음: 제곱의 평균에서 평균의 제곱을 뺀 값이 분산이다. 값이 한 점에 집중됐을 때만 0이다.〕
- [ ] 늘 0이다 〔틀림: 볼록함수에서는 함수의 평균이 평균의 함수보다 크거나 같고, 값이 퍼져 있으면 젠센 갭이 0보다 커진다.〕
- [ ] 음수일 수도 있다 〔틀림: 볼록함수에서는 곡선 위 두 점을 이은 선분이 곡선보다 아래로 내려가지 않아서, 젠센 갭은 늘 0 이상이다.〕
물음. 양성이 2%뿐인 데이터로 이진 분류기를 학습한다. 처음부터 양성 확률이 0.02로 나오게 하려면 마지막 층의 바이어스를 얼마로 두나?
- [ ] 0.02 〔틀림: 바이어스는 로짓 자리다. 0.02를 넣으면 시그모이드를 지나 확률이 0.505, 거의 반반이 된다.〕
- [x] 약 −3.89 〔맞음: 확률 0.02를 로짓으로 되돌린 값, 곧 양성과 음성 확률의 비에 로그를 씌운 값이다. 짝 함수의 기울기가 이 되돌림을 한 줄로 해 준다.〕
- [ ] 0. 반반에서 시작해야 치우치지 않는다 〔틀림: 바이어스가 0이면 확률 0.5에서 시작해 손실이 약 0.693이고, 맞춘 바이어스에서는 약 0.098이다. 배경 예제의 큰 손실이 학습 초반을 흔든다.〕
물음. θ를 고정하고 η를 바꿔 가며 펜헬–영 갭 F(θ) + F*(η) − θη를 측정한다. 갭이 가장 작은(0인) η는?
- [ ] F*가 가장 작은 η 〔틀림: 갭에는 두 변수를 곱한 항이 함께 들어 있어서, 짝 함수 하나만 보고는 정할 수 없다.〕
- [x] F의 θ에서의 기울기와 같은 η 〔맞음: 그렇게 맞물린 짝에서만 펜헬–영 부등식의 등호가 선다.〕
- [ ] 어느 η에서도 0이 되지 않는다 〔틀림: 펜헬–영 부등식은 맞물린 짝에서 등호가 된다. 그곳의 갭이 0이다.〕
물음. numpy로 η log η를 η = 0에서 계산하면 nan이 나온다. 이 함수의 η = 0에서 값은?
- [ ] 값이 없다. nan이 그 증거다 〔틀림: nan은 numpy가 0과 음의 무한대를 곱해서 생긴 것이다. 0으로 다가가면 값도 0으로 다가간다.〕
- [ ] 0이지만 편의로 정한 약속일 뿐이다 〔틀림: 극한으로도, 르장드르 변환의 정의로 계산해도 0이 나온다. 약속이 아니라 계산 결과다.〕
- [x] 0이다 〔맞음: 0으로 다가가면 값도 0으로 다가가고, 르장드르 변환의 정의로 계산해도 0이 나온다.〕
물음. 볼록하지 않은 함수에 르장드르 변환을 두 번 했더니 원래 함수와 다른 함수가 나왔다. 나온 함수는 무엇인가?
- [ ] 계산 버그다. 두 번 변환하면 늘 원래 함수로 돌아온다 〔틀림: 원래 함수로 돌아오는 것은 닫힌 볼록함수일 때다.〕
- [x] 원래 함수를 아래에서 받치는 가장 큰 볼록함수(볼록포) 〔맞음: 접선의 표는 오목한 굴곡을 적어 두지 못해서, 그 굴곡을 다리처럼 건너간 함수가 돌아온다.〕
- [ ] 원래 함수를 위에서 덮는 가장 작은 볼록함수 〔틀림: 접선은 함수를 아래에서 받친다. 두 번 변환해 돌아오는 것도 아래에서 받치는 함수다.〕