코딩 레이트와 코딩 레이트 감소: 클러스터별로 적으면 짧아진다
혼동하기 쉬운 점과 요약
토론 1. 코딩 레이트가 클수록 좋은 표현인가
임베딩 묶음 전체의 코딩 레이트를 키우기만 하면 좋은 표현이 되는가.

문제 3에서 임베딩이 한 점으로 무너지면 R이 5비트쯤으로 떨어졌어요. 그럼 R이 클수록 좋은 표현일까요?

네, R을 최대로 키우면 임베딩이 균일하게 퍼지니까 무너질 일이 없잖아요. 문제 3의 (가)처럼 70.644비트면 제일 좋은 거죠.

그 균일하게 퍼진 256개가 사실 고양이, 개, 새, 배 사진 64장씩의 임베딩이고, 네 동물이 공간 아무 데나 섞여 있다면요? 고양이 64장만 따로 모으면 어떻게 퍼져 있을까요?

균일하게 퍼진 데서 아무렇게나 64개를 선택한 셈이니까… 고양이끼리도 64방향에 균일하게 퍼져 있겠네요. 고양이만 모아도 전체만큼 넓어요.

그럼 클러스터 하나를 적는 비트도 전체를 적는 비트와 별로 다르지 않겠다. 라벨을 알아도 아끼는 게 거의 없어.

네 방향 근처에 나뉘어 모인 (다)는요? 방향 하나에 한 동물이 모였다면요.

전체는 13.042비트로 (가)보다 훨씬 작지만, 고양이만 모으면 한 방향 근처라 (나)처럼 몇 비트면 적혀요. 라벨을 알면 많이 아끼겠네요.

전체 R은 (가)가 크지만, 라벨로 나눴을 때 아끼는 건 (다)가 훨씬 크겠네요. R만 보고 선택하면 거꾸로 선택하는 거였어요.

그래요. 전체 코딩 레이트가 크다는 것은 임베딩이 넓게 퍼졌다는 것뿐이고, 라벨과 상관없이 분산된 것일 수도 있어요. 클러스터 안의 코딩 레이트를 함께 보고, 둘의 차인 코딩 레이트 감소를 키워야 해요. 문제 3에서 R을 손실에서 빼 두자고 한 것도 무너짐을 막는 항 하나였지, 그것만으로 목표가 되지는 않아요.

「전체는 넓게」만 지키면 반쪽이었네요. 클러스터 안은 맡은 방향 몇 개 안에만 모여야 하고요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 퍼짐이 허용 오차보다 작은 방향에 음수 비트를 줌 | 1 | 그 방향은 0비트에 가깝다. ½ log₂(1 + 퍼짐²/눈금²)는 음수가 되지 않는다 |
| 점 구름의 차원을 눈금 없이 말함 | 2 | 허용 오차를 반으로 줄일 때 늘어나는 비트가 그 눈금에서 쓰는 방향 수다 |
| 한 점에 모인 표현의 코딩 레이트를 0으로 봄 | 3 | 코딩 레이트는 원점에서의 2차 모멘트로 측정한다. 원점이 아닌 한 점도 방향 하나를 쓴다 |
| 라벨 비트를 빼먹고 아낀 양을 계산 | 4 | 코딩 레이트 감소는 라벨을 안다고 본 값이다. 라벨을 모르면 라벨 비트를 더한다 |
| 클러스터별 코딩 레이트를 점 비율 없이 그냥 더함 | 5 | 점 하나의 평균으로 환산하려면 nj/n을 곱해 더한다 |
| 원점 양쪽으로 분리하면 많이 아낀다고 봄 | 5 | 방향 u와 −u는 같은 부분공간이다. 같은 부분공간 안에서는 어떻게 분리해도 거의 아끼지 않는다 |
| 틀린 라벨이 비율만큼만 손해라고 봄 | 6 | 처음 몇 개의 틀린 점이 납작한 클러스터에 새 방향을 열어 가장 비싸다 |
| 라벨 비트가 가장 적은 나누기가 좋다고 봄 | 7 | 클러스터 수를 줄이면 클러스터 안을 적는 비트가 는다. 둘의 합이 가장 짧은 곳을 찾는다 |
| 눈금이 클 때 「하나」라는 답을 틀렸다고 봄 | 8 | 그 눈금에서는 정말 구별되지 않는다. 클러스터 수는 허용 오차가 정한다 |
| 직선이나 평면 근처의 클러스터를 k-평균으로 구분함 | 9 | k-평균은 중심 둘레의 공을 본다. 원점을 지나는 직선은 중심이 같아 구분할 수 없다 |
| 색이나 표현이 「멀면」 구별된다고 봄 | 10 | 코딩 레이트는 거리가 아니라 방향(각도)을 본다. 서로 직교할 때 가장 많이 아낀다 |
| 전체 코딩 레이트가 클수록 좋은 표현이라고 봄 | 토론 1 | 전체가 넓어도 클래스가 섞여 있으면 클러스터 안도 넓다. 클러스터 안의 코딩 레이트를 함께 보고 그 차(코딩 레이트 감소)를 키운다 |
| 감소를 키우는 학습에 크기 제한을 두지 않음 | 11 | 배율을 두 배로 할 때마다 감소가 는다. 점마다 길이 1로 조정해 모양으로만 경쟁하게 한다 |
| 클러스터 안을 한 점으로 모으는 것이 가장 좋다고 봄 | 12 | MCR²는 클러스터마다 맡긴 방향을 다 쓰게 한다. 한 점으로 모으면 클러스터 안의 다양함을 잃는다 |
요약
눈으로 하던 「같은 라벨끼리 잘 모이고 덩어리끼리 잘 떨어졌다」는 말은 비트로 측정할 수 있다. 라벨대로 나눠 적어서 아끼는 비트, 코딩 레이트 감소가 그 척도다. 그 비트를 가장 크게 하는 표현은 덩어리를 멀리 떼어 놓은 표현이 아니라, 클러스터마다 서로 다른 방향을 쓰고 클러스터 안에서는 맡은 방향을 다 쓰는 표현이었다.
점 구름을 허용 오차 ε 안에서 적는 평균 비트가 코딩 레이트 R = ½ log₂ det(I + d/(nε²) ZZᵀ)이다. 주축마다 ½ log₂(1 + dλ/ε²)를 더한 것이고, 점들이 퍼진 부피를 허용 오차 공의 부피로 측정한 값의 로그다. 퍼짐이 ε보다 작은 방향은 거의 0비트를 내므로, 같은 만큼 퍼져도 납작한 구름은 적게 든다(둥근 구름 6.658비트, 가는 구름 4.972비트). 눈금을 반으로 줄일 때 늘어나는 비트는 그 눈금에서 자료가 쓰는 방향 수다.
점들이 클러스터로 되어 있으면 클러스터별로 따로 적어 아낄 수 있다. 한 덩어리 R에서 점 비율로 가중한 클러스터별 Rc를 뺀 것이 코딩 레이트 감소 ΔR이다. 직선 세 개 근처의 점 300개에서 바른 나누기는 점 하나에 4.031비트를 아꼈고, 직선 둘을 섞으면 2.353비트로 줄었다. 라벨을 모를 때는 점을 적는 비트에 클러스터마다의 축과 라벨의 비트까지 더한 전체 코드 길이가 가장 짧은 나누기를 찾는다(마·데르크센·홍·라이트 2007). 짝지어 합치기는 ε = 0.1에서 세 클러스터를 찾았고, ε가 커지면 클러스터 수가 둘, 하나로 줄었다. 라벨을 고정하고 표현을 움직여 감소를 키우는 것이 MCR²다(위·찬·유·송·마 2020). 점마다 길이 1로 묶으면 클러스터끼리는 서로 직교하고 클러스터 안은 맡긴 방향을 다 쓰는 배치가 가장 좋다.
flowchart LR A["점 구름 하나<br/>R = ½ log₂ det(I + d/(nε²) ZZᵀ)"] -- "클러스터별로 따로 적기" --> B["코딩 레이트 감소<br/>ΔR = R − R<sub>c</sub>"] B -- "라벨이 없으면<br/>축·라벨 비트까지 더해 최소" --> C["가장 짧은 나누기<br/>클러스터 수는 ε가 정한다"] B -- "라벨을 두고<br/>표현을 움직여 최대" --> D["MCR²<br/>클러스터끼리 직교, 클러스터 안은 다양하게"]
정리 연습문제
물음. 점 구름의 어느 방향 하나는 퍼짐이 허용 오차보다 훨씬 작다. 그 방향은 코딩 레이트에 몇 비트를 보태는가?
- [ ] 음수다. 그 방향이 비트를 아껴 준다 〔틀림: 방향마다 더하는 비트는 0보다 작아지지 않는다.〕
- [x] 거의 0비트다 〔맞음: 허용 오차 안에서는 그 방향으로 구별할 것이 없다. 그래서 같은 만큼 퍼져도 납작한 구름이 둥근 구름보다 적게 든다.〕
- [ ] 다른 방향과 같은 만큼이다. 쓰는 방향의 수는 공간의 차원이 정한다 〔틀림: 쓰는 방향의 수는 허용 오차가 정한다. 허용 오차보다 좁은 방향은 그 눈금에서 쓰이지 않는다.〕
물음. 학습이 잘못되어 임베딩 모두가 원점이 아닌 한 점에 모였다. 그 묶음의 코딩 레이트는 얼마인가?
- [ ] 0이다. 점이 하나뿐이니 적을 것이 없다 〔틀림: 코딩 레이트는 원점을 기준으로 퍼짐을 측정한다. 원점이 아닌 한 점도 원점에서 그 점으로 가는 방향 하나를 쓴다.〕
- [x] 0보다 크다. 방향 하나만큼 든다 〔맞음: 다만 균일하게 퍼진 묶음보다는 훨씬 작다. 쓰는 방향이 하나뿐이다.〕
- [ ] 균일하게 퍼졌을 때와 같다. 점의 수가 같다 〔틀림: 코딩 레이트는 점의 수가 아니라 점들이 퍼진 방향과 크기로 정해진다.〕
물음. 원점을 지나는 직선 하나 위의 점들을 원점 양쪽 두 클러스터로 갈랐다. 클러스터별로 따로 적으면 점 하나에 아끼는 비트는 얼마인가?
- [ ] 많다. 두 클러스터가 멀리 떨어져 있다 〔틀림: 코딩 레이트는 거리가 아니라 방향을 본다. 원점 양쪽은 같은 직선, 같은 방향이다.〕
- [x] 거의 없다 〔맞음: 같은 부분공간 안에서는 어떻게 분리해도 클러스터마다 그 방향 하나를 그대로 쓴다.〕
- [ ] 클러스터가 둘이니 1비트를 아낀다 〔틀림: 오히려 라벨을 모르면 점마다 어느 클러스터인지 적는 라벨 비트가 더 든다.〕
물음. 표현 A는 전체 코딩 레이트가 70비트쯤이고 네 클래스가 공간 아무 데나 섞여 있다. 표현 B는 13비트쯤이고 클래스마다 한 방향 근처에 모였다. 라벨에 맞는 표현은 어느 것인가?
- [ ] A. 전체가 넓게 퍼질수록 좋다 〔틀림: 클래스가 섞여 있으면 클래스 하나만 모아도 전체만큼 넓다. 라벨을 알아도 아끼는 비트가 거의 없다.〕
- [x] B 〔맞음: 클러스터 안의 코딩 레이트가 작아, 전체와 클러스터 안의 차인 코딩 레이트 감소가 크다.〕
- [ ] 알 수 없다. 클러스터 사이의 거리를 측정해야 한다 〔틀림: 코딩 레이트는 거리가 아니라 방향을 본다. 클러스터끼리 서로 직교할 때 가장 많이 아낀다.〕
물음. 라벨 없이, 점을 적는 비트와 클러스터마다의 축과 라벨을 적는 비트를 모두 더한 코드 길이가 가장 짧은 나누기를 찾는다. 직선 세 개 근처의 점에서 허용 오차를 키우면 찾은 클러스터 수는 어떻게 되는가?
- [ ] 그대로 셋이다. 자료에 직선이 셋이다 〔틀림: 클러스터 수는 허용 오차가 정한다. 큰 눈금에서는 직선들이 정말 구별되지 않는다.〕
- [x] 둘, 하나로 줄어든다 〔맞음: 눈금이 크면 한 클러스터로 적어도 비트가 크게 늘지 않아, 나누는 데 드는 라벨과 축의 비트가 더 비싸다.〕
- [ ] 허용 오차와 상관없이 하나다. 한 덩어리로 적으면 라벨 비트가 들지 않는다 〔틀림: 클러스터 수를 줄이면 클러스터 안을 적는 비트가 는다. 작은 허용 오차에서는 셋으로 나눈 것이 가장 짧았다.〕
물음. MCR²로 표현을 학습할 때 점마다 길이를 1로 맞춘다. 그 이유는 무엇인가?
- [x] 묶지 않으면 표현의 배율을 키우기만 해도 코딩 레이트 감소가 커진다 〔맞음: 길이를 조정하면 배율이 아니라 모양으로만 경쟁하게 된다.〕
- [ ] 클러스터 안을 한 점으로 모으기 위해서다 〔틀림: MCR²는 클러스터마다 맡긴 방향을 다 쓰게 한다. 한 점으로 모으면 클러스터 안의 다양함을 잃는다.〕
- [ ] 이유가 없다. 코딩 레이트 감소는 크기와 상관없다 〔틀림: 배율을 두 배로 할 때마다 감소가 는다. 그래서 크기를 묶어 둔다.〕
막힌 곳
이 장의 계산은 모두 라벨을 손에 쥐고 점 구름의 타원체 축을 구해 비트를 세는 일이었고, 코딩 레이트가 알아보는 것은 원점을 지나는 곧은 방향뿐이었다.