남은 물음

이 책은 「짧게 적을 수 있으면 이해한 것인가」라는 물음으로 시작했는데, 일곱 권을 압축의 눈으로 다시 읽고 나니 대답의 모양은 보인다. 규칙을 찾으면 짧아지고, 모델까지 세어 짧은 설명은 처음 보는 자료에도 통하는 경우가 많고, 엔트로피와 KL과 축과 매니폴드와 디노이저는 모두 그 셈의 한 부분이다. 그런데 이 책을 닫기 전에 두 물음이 남는다.

비트는 이해를 재는 단위인가

하틀리가 정보의 양을 정할 때 맨 먼저 한 일은 뜻을 빼는 것이었다. 그는 같은 논문에서, 오래 이어진 논의 끝에 오는 「예」나 「아니오」 한마디는 엄청난 무게를 가질 수 있지만 그런 경우는 예외라고 적고, 그런 무게는 셈에 넣지 않았다. 섀넌도 1948년 논문 「통신의 수학 이론」의 서론에서 메시지에 뜻이 있는 경우가 많지만 「통신의 그런 의미론적 측면은 공학 문제와 관계가 없다」고 적었다. 비트는 처음부터 「가려낼 수 있는 경우가 몇 가지인가」를 세는 단위로 만들어졌다.

이 책은 그 비트로 이해에 가까이 가 보려 했다. 원이 숫자 그대로보다 짧다는 것은 원이라는 규칙을 찾았다는 뜻이었고, 그것은 이해라고 불러도 될 만해 보인다. 하지만 오래 이어진 논의 끝의 「예」 한마디는 1비트이면서 듣는 사람에게는 모든 것을 바꾼다. 그 무게는 말하는 쪽과 듣는 쪽이 이미 함께 가진 것, 곧 받는 쪽이 이미 아는 것에서 나온다. 받는 쪽이 아는 것을 비트로 세는 법은 이 책에서 보았지만(대칭, 디코더, 세계 모델), 어떤 앎이 「이해」이고 어떤 앎이 「외운 표」인지를 비트 수 하나로 가를 수 있을지는 아직 모른다. 이해를 재는 단위가 따로 있어야 하는지, 비트로 충분한지는 열린 물음이다.

모델 족은 누가 정하나

처음 그림의 네 설명을 다시 보면 원이 가장 짧았지만, 원을 후보에 넣은 것은 사람이었다. 숫자 그대로, 평면, 원, 구불구불한 고리라는 네 후보를 정해 두고 그 안에서 가장 짧은 것을 골랐을 뿐이다. 후보에 원이 없었다면 두 부분 코드는 평면을 골랐을 것이고, 원을 적는 데 드는 비트도 「파라미터 하나에 16비트」라는 약속에 기대어 있다. 식이 복잡한지는 어떤 함수를 기본 재료로 허락하느냐에 달렸다는 수학자 바일(Hermann Weyl)의 지적, 이를테면 사인 함수를 허락하면 사인 곡선이 짧은 식이 되고 덧셈과 곱셈만 허락하면 끝없이 긴 식이 된다는 지적이 여기서 다시 돌아온다.

가장 짧은 프로그램으로 재는 콜모고로프 복잡도는 이 선택을 없애려는 시도였지만 계산할 수 없었다. 그래서 실제로는 늘 누군가 모델 족을 정한다. 주성분 분석은 평면을, 합성곱 신경망은 미는 대칭을, 트랜스포머는 또 다른 구조를 미리 정해 둔다. 칸 16개짜리 신호의 대칭 실험에서 미는 대칭이 있는 신호는 축을 보내지 않는 대칭이 고른 축이 늘 짧았고 늘 4번 칸에 서는 봉우리는 자료가 많아지자 축을 보내는 주성분이 짧았듯, 모델 족을 잘 고르면 축 값처럼 큰 비트를 공짜로 얻고 잘못 고르면 잔차로 값을 치른다. 그러면 좋은 모델 족은 무엇으로 고를까? 여러 자료에서 짧게 적은 경험으로 고른다면, 그 고르는 일 자체도 한 단계 위의 압축일까? 그 사다리는 어디에서 멈추고, 맨 아래 칸을 놓는 것은 누구일까?

마지막 물음은 이 책이 답하지 않고 남겨 두는 물음이에요. 두 학생은 어떻게 생각해요?

저는 처음에 「압축 = 이해」가 그냥 멋진 말인 줄 알았어요. 지금은 반은 맞는 말 같아요. 짧게 적었다면 뭔가를 찾은 건 맞는데, 무엇을 찾을 수 있는지는 후보를 정한 사람이 먼저 정해 버렸어요.

저는 「받는 쪽이 이미 아는 것」이 계속 걸려요. 대칭도, 디코더도, 세계 모델도 받는 쪽이 이미 알면 공짜였어요. 이해한다는 건 결국 받는 쪽이 되는 일, 남이 보낸 짧은 것을 풀 수 있는 쪽이 되는 일일지도 모르겠어요.

둘 다 좋은 출발점이에요. 비트로 셀 수 있는 데까지는 이 책이 세었고, 그 너머는 여러분이 셀 차례예요.