암기와 일반화: 일반화란 무엇인가

혼동하기 쉬운 점과 요약

토론 1. 오차율 경계가 100% 아래로 나오면 무언가 보증한 것인가

라벨이 0과 1인 학습 점 1,000개를 룩업 테이블로 모두 맞혔다. 테이블은 1,000비트이고, 오컴 경계(δ = 0.05)는 69.6%다. 이 경계는 처음 보는 점에 대해 무엇을 말해 주는가?

선생님 T01
선생님

라벨이 0과 1인 학습 점 1,000개를 룩업 테이블로 다 맞혔어요. 테이블이 1,000비트니까 오컴 경계는 (1,000 × 0.693 + 3.00)/1,000 = 69.6%예요. 이 보증은 처음 보는 점에 대해 무엇을 말해 줄까요?

이서연 S01
이서연

문제 6의 408%와는 다르네요. 69.6%는 100%보다 아래니까, 적어도 오차율에 위쪽 끝은 생긴 거잖아요. 「처음 보는 점에서 30% 넘게는 맞힌다」는 보증이요.

김민준 M01
김민준

그런데 0과 1을 동전으로 찍기만 해도 평균 절반은 맞히잖아. 오차율로 치면 50%고.

선생님 T01
선생님

그럼 이 경계가 무엇을 해 줘야 유용할까요?

이서연 S04
이서연

아… 찍기도 오차율 50%인데 경계는 69.6%까지 허락하니까, 찍기보다 못해도 경계와 모순되지 않네요. 처음 보는 점에 대해서는 아무것도 말하지 않은 거예요.

김민준 M01
김민준

학습 점을 늘려도 테이블이 같이 길어지니까 L = n 이고, 경계는 ln 2 = 69.3% 밑으로 안 내려가겠네. 테이블을 아무리 크게 만들어도 똑같아.

선생님 T14
선생님

그래요. 경계가 유용하려면 아무 생각 없이 찍어도 닿는 오차율보다 아래여야 해요. 오차율의 끝인 1 근처, 두 가지 중 선택하는 문제라면 0.5 근처를 넘는 경계는 아무 말도 하지 않은 거예요.

토론 2. 처음 보는 쌍까지 맞히는 신경망은 짧게 적힌 것인가

59로 나눈 나머지 덧셈의 그로킹 실험에서, 수천 스텝 뒤의 신경망(파라미터 27,899개)은 처음 보는 쌍까지 맞힌다. 이 신경망은 학습 쌍 1,740개의 룩업 테이블(10,236비트)보다 짧게 적히는가?

선생님 T01
선생님

그로킹 실험에서 수천 스텝 뒤의 신경망은 처음 보는 쌍까지 맞혀요. 이 신경망은 학습 쌍의 룩업 테이블 10,236비트보다 짧게 적힐까요?

김민준 M01
김민준

처음 보는 쌍을 맞힌다는 건 덧셈 규칙을 찾았다는 거잖아요. 덧셈은 한 줄이니까 당연히 짧겠죠.

이서연 S01
이서연

그 신경망을 받는 사람한테 보내려면 무엇을 보내야 해? 「덧셈」이라는 한 줄이 아니라 신경망 자체잖아.

김민준 M04
김민준

파라미터 27,899개를 32비트씩이면 892,768비트야. 테이블의 87배네. 규칙을 찾았다면서 표보다 훨씬 길어.

선생님 T01
선생님

그럼 이 신경망은 규칙이 아니라 표인가요?

이서연 S03
이서연

그것도 이상해요. 32비트씩 그대로 적는 건 적는 법 하나일 뿐이잖아요. 같은 신경망을 훨씬 짧게 적는 법이 있을 수도 있고요.

선생님 T01
선생님

그럼 이 신경망이 실제로 쓰는 정보가 얼마인지는 무엇으로 측정할 수 있었죠?

김민준 M01
김민준

순차 코드요. 앞의 쌍으로 배운 신경망으로 다음 쌍의 답을 적으면 신경망을 따로 보낼 필요가 없어요. 규칙을 일찍 찾을수록 뒤의 쌍에 드는 비트가 줄고요.

이서연 S11
이서연

그러니까 「규칙처럼 군다」는 건 처음 보는 쌍을 맞힌다는 관찰이고, 「짧게 적힌다」는 건 순차 코드든 가중치를 적는 비트든 따로 측정해서 얻는 숫자야. 하나가 다른 하나를 대신하지 않아.

선생님 T14
선생님

그래요. 「그로킹은 늦게 일어난 압축」이라는 읽기에는 늘 「그 압축을 무엇으로 측정했나」가 따라붙어야 해요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
답만 외운 것도 기출에서 100점이니 배운 것이라고 봄 1 짧게 줄어드는 공책만 새 문제에 쓸 수 있다. 무작위 답은 줄지도 새 문제에 쓰이지도 않는다
큰 신경망이면 무작위 라벨도 짧게 적을 수 있다고 봄 2 90비트 이하 코드워드는 2⁹¹개 미만이라 동전 라벨 100개가 그만큼 줄 확률은 0.2% 아래다
다 맞히는 모델이 다음 라벨도 잘 예측한다고 봄 3 외운 모델은 자신 있게 틀려 라벨 하나에 1비트보다 많이 쓴다. 비트는 학습 정확도가 아니라 순차 코드로 측정한다
학습 자료를 다 맞혔다는 것만으로 처음 보는 자료를 보증받으려 함 4 맞힌 라벨보다 짧게 적혔을 때만 보증이 된다. 예외 목록이 길면 룩업 테이블이다
학습 점을 많이 모으면 「반드시」 맞는다고 보증할 수 있다고 봄 5 운 나쁜 학습 자료가 뽑힐 확률 δ는 남는다. 보증은 확률 1 − δ로만 한다
오차율 경계가 100%를 넘어도 무언가 말한다고 봄 6 오차율은 100%를 넘을 수 없으니, 그런 경계는 아무 말도 하지 않은 것이다
오차율 경계가 100% 아래로만 나오면 보증이 생긴다고 봄 토론 1 아무 생각 없이 찍어도 닿는 오차율(두 가지 중 선택하는 문제면 0.5)보다 아래여야 무언가를 말한다
규칙처럼 굴면 짧게 적힌다고 바로 결론 냄 토론 2 짧은지는 순차 코드나 가중치를 적는 비트로 따로 측정한다
자료가 적을 때도 규칙을 배우는 편이 늘 낫다고 봄 7 자료가 적으면 그대로 적는 설명이 짧다. 어느 설명이 짧은지가 바뀌는 자리가 전이다
학습 점 사이를 섞어 낸 점을 새로 만든 점으로 봄 8 f*는 학습 점의 가중 평균만 낸다. 노이즈를 다 걷으면 학습 점 하나로 간다
가장 가까운 학습 그림과의 거리만으로 외움을 판정함 9 학습 자료가 많으면 새것도 어느 학습 자료와는 가깝다. 새로 뽑은 자료와 비교하거나 겹치지 않는 두 절반으로 따로 배워 비교한다

요약

학습 자료를 다 맞힌 모델이 외웠는지 규칙을 찾았는지는 시험 자료 없이 학습 자료만 보고도 가를 수 있었다. 학습 자료보다 짧게 적히지 않으면 외운 것이다. 평면에 가우스로 분포한 두 클러스터(클러스터마다 학습 점 50개)에 같은 MLP를 학습시키면 참 라벨도 무작위 라벨도 학습 정확도 100%에 닿지만, 시험 정확도는 99.3%와 54.8%로 차이가 났다. 학습 정확도와 파라미터 수로는 둘을 구분할 수 없었다. 앞의 라벨로 배운 모델로 다음 라벨을 적는 순차 코드로 측정하면, 참 라벨 100개는 10.8비트로 줄었고 무작위 라벨은 314.9비트로 오히려 늘었다. 학습 자료를 규칙으로 줄이지 않고 룩업 테이블처럼 지니는 것이 암기다.

라벨의 일부를 망가뜨려 가며 보면 순차 코드의 비트와 시험 정확도가 함께 움직였고, 같은 자료에서 일찍 멈춰 짧게 적은 모델이 시험에서도 더 맞혔다. 오컴 경계는 그 현상에 보증을 붙인다. 학습 점 n개를 모두 맞히는 규칙을 미리 정한 코드로 L비트에 적을 수 있으면, 처음 보는 자료의 오차율은 확률 1 − δ로 (L ln 2 + ln(1/δ))/n 아래다. 룩업 테이블은 L = n이라 아무것도 보증받지 못한다. 학습 자료보다 짧은 설명을 찾았을 때에만 처음 보는 자료에 대해 말할 수 있다는 것이 이 책이 읽는 일반화다.

생성 모델에서는 학습 자료에서 가장 잘하는 디노이저가 학습 점의 가중 평균이라 학습 점을 그대로 꺼내 준다. 원 위의 점으로 학습한 작은 신경망 디노이저는 학습 점이 4개일 때 학습 점으로 돌아가고 40개부터 원 전체로 퍼졌다. 학습 자료를 그대로 적는 설명은 자료 수에 비례해 길어지고 규칙은 그대로이므로, 자료가 늘면 어느 설명이 짧은지가 바뀐다.

flowchart LR
  A["학습 자료를 다 맞힌 모델"] -- "순차 코드로 잰다" --> B{"학습 자료보다<br/>짧게 적히나?"}
  B -- "아니다: 룩업 테이블" --> C["암기<br/>처음 보는 자료에 말할 것이 없다"]
  B -- "그렇다: 규칙" --> D["일반화 (2)<br/>오컴 경계 (L ln 2 + ln(1/δ))/n"]
  E["학습 자료 수 N"] -- "N이 늘면 규칙이 짧아진다" --> D

정리 연습문제

물음. 같은 MLP 가 참 라벨에서도 무작위 라벨에서도 학습 정확도 100%에 닿았다. 무엇으로 둘을 구분할 수 있는가?

  • [ ] 학습 정확도 〔틀림: 둘 다 100%라서 학습 정확도로는 구분할 수 없다.〕
  • [ ] 파라미터 수 〔틀림: 같은 MLP 라 파라미터 수도 같다.〕
  • [x] 앞의 라벨로 배운 모델로 다음 라벨을 적는 순차 코드의 비트 〔맞음: 참 라벨 100개는 10.8비트로 줄었고, 무작위 라벨은 314.9비트로 오히려 늘었다.〕

물음. 학습 점 1,000개를 모두 맞히는 규칙을 찾았다. 처음 보는 자료에 대해 보증이 생기는 때는 언제인가?

  • [ ] 학습 점을 모두 맞혔으면 규칙의 길이와 상관없이 생긴다 〔틀림: 룩업 테이블도 학습 점을 다 맞힌다. 라벨 수만큼 비트가 들어서 아무것도 보증받지 못한다.〕
  • [x] 그 규칙을 맞힌 라벨보다 훨씬 짧은 비트로 적을 수 있을 때 〔맞음: 학습 자료보다 짧은 설명을 찾았을 때만 처음 보는 자료에 대해 말할 수 있다.〕
  • [ ] 학습 점이 1,000개쯤 되면 반드시 맞는다고 보증된다 〔틀림: 운 나쁜 학습 자료가 뽑힐 확률은 남는다. 보증은 그 확률을 뺀 나머지 확률로만 한다.〕

물음. 두 가지 중 하나를 선택하는 문제에서 세 모델의 오컴 경계가 130%, 70%, 30%로 나왔다. 처음 보는 자료에 대해 무언가를 말해 주는 경계는 어느 것인가?

  • [ ] 셋 모두. 경계가 클수록 느슨할 뿐이다 〔틀림: 오차율은 100%를 넘을 수 없으니, 130%는 아무 말도 하지 않은 것이다.〕
  • [ ] 70%와 30%. 둘 다 100% 아래니까 〔틀림: 아무 생각 없이 찍어도 오차율은 50%다. 70%는 찍기보다 낫다는 것조차 말하지 못한다.〕
  • [x] 30%만 〔맞음: 찍어서 닿는 50%보다 아래여야 무언가를 보증한다.〕

물음. 같은 규칙에서 나온 자료를 적는다. 자료가 몇 개뿐일 때와 아주 많을 때, 가장 짧은 설명은 어떻게 되는가?

  • [ ] 언제나 규칙이 짧다 〔틀림: 자료가 적으면 그대로 적는 설명이 더 짧을 수 있다.〕
  • [ ] 언제나 자료를 그대로 적는 설명이 짧다 〔틀림: 그대로 적는 설명은 자료가 늘수록 길어지고, 규칙의 길이는 자료 수와 상관없이 같다.〕
  • [x] 적을 때는 그대로 적는 설명이, 많아지면 규칙이 짧다 〔맞음: 어느 설명이 짧은지가 바뀌는 자리가 암기에서 일반화로 넘어가는 자리다.〕

물음. 원 위의 학습 점 4개로 학습 자료에서 가장 잘하는 디노이저를 만들었다. 노이즈를 다 걷으면 무엇이 나오는가?

  • [ ] 원 위의 새 점. 학습 점 사이를 섞어 내니까 〔틀림: 이 디노이저는 학습 점의 가중 평균만 낸다. 노이즈를 다 걷으면 그 무게가 학습 점 하나에 몰린다.〕
  • [x] 학습 점 가운데 하나 〔맞음: 학습 자료에서 가장 잘하는 디노이저는 학습 점을 그대로 꺼내 준다. 이 장의 작은 신경망은 학습 점이 40개가 되자 원 전체로 퍼졌다.〕
  • [ ] 학습 점 넷의 평균 점 〔틀림: 노이즈가 클 때는 학습 점 전체의 평균 쪽을 내지만, 노이즈를 다 걷은 끝에는 무게가 학습 점 하나에 몰린다.〕

물음. 생성 모델이 만든 그림이 학습 그림을 외운 것인지 판별하려 한다. 어떻게 측정하는 것이 좋은가?

  • [ ] 가장 가까운 학습 그림과의 거리만 본다 〔틀림: 학습 자료가 많으면 새로 만든 그림도 어느 학습 그림과는 가깝다.〕
  • [ ] 학습 자료에서 손실이 낮으면 외운 것이 아니라고 본다 〔틀림: 학습 자료에서 손실이 가장 낮은 디노이저가 바로 학습 점을 꺼내 주는 디노이저다.〕
  • [x] 자료가 사는 곳에서 새로 뽑은 것과 비교하거나, 겹치지 않는 두 절반으로 따로 배운 모델끼리 비교한다 〔맞음: 바깥에 기준을 두어야 학습 자료와 가까운 것과 학습 자료를 꺼낸 것이 구분된다.〕

막힌 곳

이 장의 척도는 모두 모델 바깥의 기준에 기대어 측정한 것이었다. 순차 코드는 주어진 라벨을 적는 비트를 측정했고, 생성 모델의 새로움은 원에서 새로 뽑은 점이나 다른 절반으로 배운 디노이저와 비교해 측정했다.