압축은 이해인가: 예측, 코드 길이, 낮은 차원
짧게 적을 수 있으면 규칙을 안 것인가: 부호 길이와 최소 기술 길이, 주성분 분석과 희소 부호, 율–왜곡과 부호화율, 디노이징과 펼친 층, 암기와 일반화, 그리고 압축의 한계
- 머리말: 압축은 이해인가
- 짧게 적는다는 것
- 예측할 수 있으면 낮은 차원
- 코드 길이: 예측기가 곧 압축기
- 최소 기술 길이와 오컴: 모델까지 적어야 공평하다
- 자료가 고르는 축
- 주성분 분석과 저랭크 근사
- 희소 코딩: 축은 많이, 쓰는 축은 몇 개만
- 버려도 되는 것
- 레이트–디스토션과 정보 병목: 무엇을 버려도 되는가
- 코딩 레이트와 코딩 레이트 감소: 클러스터별로 적으면 짧아진다
- 신경망을 압축으로 읽기
- 디노이징: 낮은 차원으로 끌어당기기
- 언롤드 최적화: 층은 최적화의 한 스텝
- 암기와 일반화: 일반화란 무엇인가
- 오토인코더와 클로즈드 루프: 되살린 것을 다시 압축하기
- 관점의 한계
- 압축만으로 충분한가: 짧게 적기가 말해 주지 않는 것
- 맺음: 일곱 권을 압축의 눈으로