레이트–디스토션과 정보 병목: 무엇을 버려도 되는가

혼동하기 쉬운 점과 요약

토론 1. 1.545비트처럼 정수가 아닌 레이트는 실제로 쓸 수 없나

비트는 0 아니면 1인데, 수 하나에 1.545비트를 쓴다는 것은 무슨 뜻인가.

선생님 T01
선생님

문제 2에서 로이드 양자화기의 왜곡 0.1175 는 레이트–디스토션 함수로 1.545비트면 된다고 했어요. 1.545비트로 보낸다는 건 어떻게 하는 걸까요?

김민준 M01
김민준

1.545비트짜리 칸은 없잖아요. 실제로는 2비트를 써야 하니까, 1.545 는 이론에만 있는 값 같은데요.

선생님 T01
선생님

수를 하나씩 말고 둘씩 보내면요? 수 두 개에 3비트를 쓴다면요?

김민준 M04
김민준

둘에 3비트면 하나에 1.5비트… 어, 평균으로 치면 분수가 되네요.

이서연 S01
이서연

그럼 받는 쪽은 3비트로 무엇을 구분해?

김민준 M01
김민준

대표점 여덟 개 가운데 하나지. 수 둘을 평면의 점 하나로 보고, 그 점에 가장 가까운 대표점의 번호를 보내는 거야.

이서연 S06
이서연

수 하나에 2비트씩 따로 쓰면 대표점이 4 × 4 격자로 16개인데, 묶으면 대표점을 평면 어디에나 놓을 수 있구나. 8개만 잘 놓아도 쓸 만하면 비트가 남겠네.

선생님 T01
선생님

본문의 묶음 실험에서는 수 하나에 1비트를 쓰면서 묶음을 길게 했죠. 왜곡이 어떻게 됐어요?

이서연 S01
이서연

k = 1 에서 0.366, k = 8 에서 0.326 으로 천천히 내려갔어요. 한계 0.25 에는 묶음을 한없이 길게 해야 닿고요.

선생님 T13
선생님

그래요. 레이트는 수 하나에 드는 평균 비트예요. 여러 수를 묶어 정수 비트를 쓰면 수 하나에는 분수 비트가 돌아가고, 묶음이 길수록 레이트–디스토션 함수의 한계에 다가가요.

김민준 M07
김민준

치킨을 반 마리씩은 못 시켜도 셋이 두 마리를 시키면 한 사람에 3분의 2마리잖아요. 1.545비트도 수 하나에 돌아가는 평균이었네요.

토론 2. 평균 제곱 오차가 가장 작은 되살림이 가장 진짜 같은가

분산 1 인 정규분포에서 뽑은 수를 0비트로 보낼 때, 늘 0으로 답하는 것과 분산 1 인 정규분포에서 아무 수나 뽑아 답하는 것 가운데 어느 쪽이 나은가.

선생님 T01
선생님

분산 1 인 정규분포에서 뽑은 수를 0비트로 보내야 해요. 받는 쪽은 어떻게 답하면 좋을까요?

이서연 S01
이서연

왜곡이 가장 작은 답이 가장 좋은 답이니까, 평균인 0 으로 늘 답하면 돼요. 왜곡은 분산과 같은 1 이고요.

선생님 T01
선생님

받는 쪽이 낸 수 1,000개를 모아 히스토그램을 그리면요?

김민준 M01
김민준

전부 0이니까 막대 하나예요. 원래 수는 −2 에서 2 사이에 넓게 퍼져 있는데요.

이서연 S03
이서연

진짜 수처럼은 안 보이네요. 그럼 분산 1 인 정규분포에서 아무 수나 뽑아서 답하면 히스토그램은 맞겠어요.

선생님 T01
선생님

그때 왜곡은요?

이서연 S04
이서연

원래 수와 뽑은 수가 서로 상관없으니까 (x − y)² 의 평균은 분산 둘을 더한 2 예요. 늘 0 이라고 답할 때의 두 배네요. 그럼 처음에 「왜곡이 가장 작은 답이 가장 좋은 답」이라고 한 건 틀렸어요.

김민준 M07
김민준

VAE 가 되살린 그림이 흐릿한 게 이거네요. 제곱 오차를 줄이려고 그럴듯한 그림 여럿의 평균을 내니까 흐려지는 거고요.

선생님 T01
선생님

그럼 둘 가운데 어느 쪽이 더 나은 되살림일까요?

이서연 S11
이서연

무엇을 재느냐에 달렸어요. 평균 제곱 오차로는 늘 0 이 낫고, 보기에 진짜 같은지로는 뽑은 수가 나아요.

선생님 T13
선생님

그래요. 왜곡과 지각은 다른 축이에요. 되살린 것의 분포까지 원래와 같아야 한다고 하면 같은 비트에서 왜곡이 커지고, 블라우·미캘리의 정리로는 제곱 오차에서 많아야 두 배예요. 0비트에서는 딱 두 배였고, 1비트에서는 정규분포 짝으로 만든 방법이 0.25 대신 0.268 이었죠.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
1비트로 받은 반쪽을 표준편차 하나만큼 떨어진 값으로 되살림 1 제곱 오차를 가장 작게 하는 값은 그 반쪽의 평균이다. 분산 1 이면 ±0.798
「크다 / 작다」 한마디로 레이트–디스토션 함수의 한계에 닿는다고 봄 1, 2 수 하나씩 적는 양자화기는 한계에 닿지 못한다. 여러 수를 묶어 적어야 다가간다
허용 왜곡이 분산보다 큰데 ½ log₂(σ²/D) 를 그대로 씀 2 D ≥ σ² 이면 0비트. 평균으로만 답해도 분산만큼은 맞힌다
레이트가 정수 비트가 아니면 실제로는 쓸 수 없다고 봄 토론 1 레이트는 수 하나에 드는 평균 비트다. 여러 수를 묶어 정수 비트를 쓰면 수 하나에는 분수 비트가 돌아가고, 묶음이 길수록 한계에 다가간다
4비트 형식이면 4비트어치 정보를 담는다고 봄 3 단계가 쓰인 비율의 엔트로피를 본다. 균일하게 쓰지 않는 단계는 비트를 낭비한다. 묶음마다 적는 척도도 비용이다
성분마다 비트를 똑같이 나눔 4, 6 물 붓기: 남은 왜곡을 같은 수위에 일치시키고, 수위보다 분산이 작은 성분은 버린다
상관된 수를 칸마다 따로 적음 5 공분산의 고유벡터(주성분) 축으로 먼저 돌린 뒤 물을 붓는다
몇 축을 남길지와 비트 나눔을 따로 정함 6 수위 하나가 둘을 함께 정한다
β 가 작아도 유용한 묶음은 쓰리라 봄 8 β 는 맞바꿈 비율이다. 라벨 정보 1비트를 얻는 데 드는 입력 정보가 β 비트보다 많으면 아무것도 알리지 않는다
같은 비트를 쓰는 표현이면 같은 값어치라고 봄 9 I(X;T) 는 길이만 말한다. 무엇을 남겼는지는 I(T;Y) 로 본다
칸으로 나눠 측정한 엔트로피가 작으면 표현이 비슷하다고 봄 10, 11 측정 기준(칸 크기, 부동소수점)이 서로 다른 값을 한 칸에 모은 것일 수 있다
압축과 일반화가 함께 나타나면 압축이 원인이라고 봄 12 압축만 다르고 나머지가 같은 비교로 따진다
β = 1 이면 레이트–디스토션 곡선 위의 자리가 정해진다고 봄 14 자리는 β · σd² 가 정한다. 디코더 분산도 교환 비율의 일부다
잠재 칸이 비면 칸을 더 늘림 15 칸을 쓸지는 수위가 정한다. β 나 디코더 분산을 바꾼다
왜곡(평균 제곱 오차)이 가장 작은 되살림이 가장 진짜 같다고 봄 토론 2 왜곡과 지각은 다른 축이다. 되살린 것의 분포까지 일치시키라 하면 같은 비트에서 왜곡이 커진다(제곱 오차에서는 많아야 두 배)

요약

틀려도 되는 만큼 비트가 줄고, 무엇을 먼저 버릴지는 틀림을 무엇으로 측정하느냐가 정한다. 「조금 틀린다」를 무엇으로 측정해야 하느냐는 장 머리의 물음에는 답이 하나로 정해져 있지 않았다. 제곱 오차로 측정하면 분산이 작은 성분부터, 잃은 라벨 정보로 측정하면 라벨과 상관없는 구분부터 버리고, 되살린 것이 보기에도 진짜 같아야 한다는 조건까지 붙이면 같은 비트에서 왜곡이 커진다(제곱 오차에서는 많아야 두 배).

실수를 정확히 적으려면 비트가 끝없이 들지만, 평균 제곱 오차 D 만큼 틀려도 되면 수 하나에 드는 가장 적은 비트가 레이트–디스토션 함수 R(D) 로 정해진다. 분산 σ² 인 정규분포에서 뽑은 수에서는 R(D) = ½ log₂(σ²/D) 이고, 1비트로 낼 수 있는 가장 작은 왜곡은 분산의 4분의 1이다. 수 하나를 따로 1비트로 적으면 반쪽의 평균 ±0.798 로 되살려도 0.363 이 한계이고, 여러 수를 묶어 적을수록 0.25 에 다가간다. 큰 언어 모델의 4비트 가중치 형식 NF4 는 단계를 균일하게 쓰도록 정규분포의 분위수에서 값을 뽑았다.

성분이 여럿이면 물 붓기가 답이다. 비트를 받은 성분의 왜곡을 모두 같은 수위에 일치시키고, 수위보다 분산이 작은 성분은 버린다. 상관된 수는 주성분 축으로 돌린 뒤 물을 부으니, 정규분포 자료에서 비트를 가장 아끼며 버리는 법은 주성분 분석과 같은 순서로 성분을 버린다. 왜곡을 제곱 오차가 아니라 잃은 라벨 정보로 측정하면 정보 병목이 된다. 날씨 네 가지를 「맑음·구름 | 비·눈」으로 묶으면 0.881비트로 우산 정보의 76.4% 를 남기고, β 는 라벨 정보 1비트와 입력 정보 몇 비트를 바꿀지 정한다. 깊은 신경망의 층이 학습 뒷부분에 입력 정보를 버린다는 「압축 단계」는 tanh 와 칸 나누기에서 크게 보이고 ReLU 나 칸 없는 측정 기준에서는 작아지거나 사라졌다. β-VAE 는 레이트–디스토션 손실이고, 정규분포 자료에서는 학습한 점이 레이트–디스토션 곡선 위에 놓이며 수위 β · σd² 로 물을 붓는다.

flowchart LR
  A["손실 압축<br/>왜곡 D 만큼 틀려도 된다"] --> B["레이트–디스토션 함수<br/>R(D) = ½ log₂(σ²/D)"]
  B --> C["성분 여럿<br/>물 붓기 = 주성분 순서로 버리기"]
  B --> D["왜곡 = 잃은 라벨 정보<br/>정보 병목 min I(X;T) − βI(T;Y)"]
  C --> E["β-VAE<br/>수위 θ = β × 디코더 분산"]
  D --> F["정보 평면<br/>압축 단계 주장과 반론"]

정리 연습문제

물음. 분산 1인 정규분포에서 뽑은 수를 수 하나에 평균 1비트로 보낸다. 이론상 가장 작은 평균 제곱 오차는 얼마인가?

  • [ ] 0.363. 「양수 / 음수」 한마디를 받고 반쪽의 평균으로 되살린 값이 한계다 〔틀림: 0.363은 수를 하나씩 따로 적을 때의 한계다. 여러 수를 묶어 적으면 더 내려간다.〕
  • [x] 0.25 〔맞음: 1비트를 더할 때마다 왜곡이 4분의 1로 준다. 이 한계에는 여러 수를 길게 묶어 적어야 다가간다.〕
  • [ ] 0.5. 1비트가 분산을 반으로 줄인다 〔틀림: 1비트는 왜곡을 반이 아니라 4분의 1로 줄인다.〕

물음. 어떤 양자화기의 왜곡에 필요한 레이트가 수 하나에 1.545비트로 나왔다. 이 레이트를 실제로 쓸 수 있는가?

  • [ ] 없다. 비트는 정수라서 수 하나에 2비트를 써야 한다 〔틀림: 레이트는 수 하나에 드는 평균 비트다. 하나씩 보낼 때만 정수 비트에 묶인다.〕
  • [x] 있다. 여러 수를 묶어 정수 비트를 쓰면 수 하나에 분수 비트가 돌아간다 〔맞음: 수 둘에 3비트면 하나에 1.5비트다. 묶음이 길수록 레이트–디스토션 함수의 한계에 다가간다.〕
  • [ ] 있다. 1.545비트짜리 칸을 따로 만들면 된다 〔틀림: 한 칸은 0 아니면 1이다. 분수 비트는 여러 수에 걸친 평균으로만 생긴다.〕

물음. 서로 독립인 세 정규분포 성분의 분산이 4, 1, 0.1이다. 물 붓기로 비트를 나눴더니 수위가 0.5였다. 비트는 어떻게 나뉘는가?

  • [ ] 세 성분에 똑같이 나눈다 〔틀림: 분산이 큰 성분에 더 준다. 비트를 받은 성분의 남은 왜곡이 모두 같은 수위가 되게 맞춘다.〕
  • [x] 분산 0.1인 성분은 버리고, 나머지 둘에 1.5비트와 0.5비트를 준다 〔맞음: 수위보다 분산이 작은 성분은 평균으로만 답해도 왜곡이 0.1이다. 남은 두 성분의 왜곡은 모두 0.5가 된다.〕
  • [ ] 몇 성분을 남길지 먼저 정하고, 비트는 남긴 성분에 따로 나눈다 〔틀림: 수위 하나가 남길 성분과 비트 나눔을 함께 정한다.〕

물음. 날씨 사진을 두 칸 가운데 하나로 보내는 분류기 A와 B의 중간 표현이 입력 정보를 똑같이 0.971비트씩 담았다. 두 표현은 「우산이 필요한가」를 맞히는 데 같은 값어치인가?

  • [ ] 같다. 입력에서 같은 만큼을 남겼다 〔틀림: 입력 정보의 비트는 표현이 얼마나 짧은지만 말한다.〕
  • [x] 다를 수 있다. 라벨 정보를 얼마나 남겼는지 따로 봐야 한다 〔맞음: A는 라벨 정보 0.224비트, B는 0.001비트였다. 맑음과 비를 한 칸에 넣은 B는 우산을 판단할 수 없다.〕
  • [ ] 입력 정보를 더 많이 버린 표현이 늘 낫다 〔틀림: 무엇을 버렸는지가 중요하다. 라벨에 필요한 것을 버리면 짧아도 유용하지 않다.〕

물음. 깊은 신경망의 층이 학습 뒷부분에 입력 정보를 버린다는 「압축 단계」는 실험에서 어떻게 나타났는가?

  • [ ] 어떤 신경망에서나 나타났고, 그 덕분에 일반화가 된다 〔틀림: ReLU 층이나 칸으로 나누지 않는 측정 기준에서는 작아지거나 사라졌다. 함께 나타났다고 원인이라고 할 수도 없다.〕
  • [x] tanh 층과 칸 나누기 측정 기준에서 크게 보였고, ReLU 층에서는 작아지거나 사라졌다 〔맞음: 결론이 활성화 함수와 측정 기준에 따라 달라졌다. 압축이 일반화의 원인인지는 압축만 다른 비교로 판단해야 한다.〕
  • [ ] 칸으로 나눠 측정한 엔트로피가 줄었으니 비슷한 입력끼리 표현이 모였다는 뜻이다 〔틀림: 칸 크기 같은 측정 기준이 서로 다른 값을 한 칸에 모은 것일 수 있다.〕

물음. 분산 1인 정규분포에서 뽑은 수를 0비트로 보낸다. 받는 사람이 내는 수의 분포까지 원래 분포와 같아야 한다는 조건을 붙이면 평균 제곱 오차는 어떻게 되는가?

  • [ ] 조건이 없을 때와 같은 1이다. 늘 0이라고 답하면 된다 〔틀림: 늘 0이라고 답하면 왜곡은 1이지만, 낸 수가 모두 0이라 분포가 원래와 다르다.〕
  • [x] 2로, 두 배가 된다 〔맞음: 분산 1인 정규분포에서 아무 수나 뽑아 답하면 분포는 맞지만, 원래 수와 상관이 없어 왜곡이 두 배가 된다.〕
  • [ ] 1보다 작아진다. 진짜 같은 되살림은 왜곡도 작다 〔틀림: 왜곡과 지각은 다른 축이다. 분포까지 일치시키라 하면 같은 비트에서 왜곡이 커진다.〕

막힌 곳

레이트–디스토션 함수와 물 붓기는 분산을 아는 정규분포 성분에서 깔끔한 답을 주었고, 정보 병목은 결합 분포를 손으로 적을 수 있는 날씨 네 칸에서 계산되었다. 수백 차원의 점 수천 개로 된 실제 표현은 그 분포를 표로 적을 수 없고, 정보 평면 실험에서 보았듯 그런 표현의 상호정보량은 측정 기준부터 선택해야 해서 결론이 측정 기준에 따라 흔들렸다.