따져 보기: 무엇이 루나의 추론을 막고 있을까

규칙을 아는 것과 따르는 것

선생님이 다음 실험의 설정을 적는 동안에도 하은은 풀이 적기 표의 1층 줄에서 눈을 떼지 않았다.

장하은 H06
장하은

선배들, 1층 모델이요. 규칙은 문항에 전부 적혀 있었잖아요. 못 본 것도 아닌데 왜 못 풀어요?

김민준 M06
김민준

층이 모자라서지. 표가 그렇게 나왔잖아.

장하은 H02
장하은

「모자라다」가 무슨 뜻인지가 궁금한 거예요. 이거 백삼십 년쯤 된 물음이거든요. 『이상한 나라의 앨리스』를 쓴 루이스 캐럴은 옥스퍼드에서 수학을 가르치던 사람인데, 1895년에 철학 학술지 『마인드』(Mind)에 「거북이가 아킬레스에게 한 말」이라는 짧은 글을 실었어요. 거북이는 전제 둘을 다 받아들이고도 결론으로 넘어가지 않아요. 아킬레스가 「두 전제가 참이면 결론도 참이다」를 공책에 전제로 한 줄 더 적어 주면, 거북이는 그 줄도 받아들이고 여전히 안 넘어가요. 한 줄을 더 적어 줘도 마찬가지고요.

김민준 M02
김민준

또 거북이야? 루나 아빠네 거북이는 말이 없어서 다행이다.

이서연 S03
이서연

적어 준 줄도 전제니까 끝이 없지. 전제에서 결론으로 넘어가는 일은 전제 목록에 적어 넣을 수가 없어.

장하은 H06
장하은

비트겐슈타인도 『철학적 탐구』(Philosophical Investigations) 185절에서 같은 데를 건드려요. 학생한테 「2 를 더하라」를 가르쳤더니 1000 까지는 잘 쓰다가 1000 을 넘자 1004, 1008 이라고 써요. 학생은 규칙을 그렇게 해석한 거예요. 해석을 바로잡아 주는 말에도 또 해석이 필요하고요. 그래서 201절은 규칙을 붙잡는 방식 가운데 해석이 아닌 것이 있고, 그건 그때그때 실제로 규칙을 따르는 데서 드러난다고 해요. 규칙을 아는 것과 규칙을 따르는 것은 다른 일이라는 거죠.

이서연 S02
이서연

그럼 내가 아는 말로 적어 볼게. 규칙 하나는 화살표 하나야. 홉이 셋이던 문항에서 묻는 것과 이어지는 규칙만 남기면 이렇게 돼.

the jar is not open  →  the gate is not dry  →  the cat is not loud  →  the bird is not big
이서연 S01
이서연

성질 하나를 받아서 화살표 끝의 성질을 돌려주는 함수를 f 라고 하면, 문항에 적힌 규칙들은 f 의 표고 답은 f(f(f(the jar is not open))) 이야. 이렇게 한 함수의 출력을 다음 함수의 입력으로 넣는 것을 함수의 합성 (함수를 겹쳐 쓰는 것 / function composition)이라고 해. 홉 카운트는 f 를 겹쳐 쓴 횟수고, 가장 작은 경우는 홉 하나에 f 한 번이야. 표를 갖고 있는 것과 표를 세 번 찾아보는 것은 다른 일이지.

김민준 M08
김민준

바로 답하기는 답 토큰 하나를 쓰는 동안 f 를 홉 카운트만큼 다 겹쳐야 하네. 그동안 모델이 쓸 수 있는 건 층뿐이고. 그래서 2층이 68.5 였구나.

이서연 S05
이서연

응. 풀이 적기는 f 를 한 번 하고 결과를 글에 적어. 다음 토큰을 쓸 때는 방금 적은 성질에서 다시 출발하면 되니까, 홉이 몇 개든 한 번에 f 한 번이야. 그게 2층의 99.0 이고. 튜링이 1936년에 계산이 무엇인지 정할 때 떠올린 기계도 그랬어. 칸이 나뉜 테이프에서 한 번에 한 칸만 읽고 쓰는데, 쓴 것을 다시 읽을 수 있어서 긴 계산을 해.

장하은 H03
장하은

그럼 1층은요? 풀이를 적게 해도 42.5 였잖아요.

이서연 S07
이서연

f 한 번도 뜯어 보면 일이 둘이야. 방금 적은 성질이 조건인 규칙을 찾는 일, 그리고 그 규칙의 결론을 옮겨 적는 일. 앞에 나온 것을 찾아가서 그 뒤를 베끼는 유도 헤드도 우리가 본 모델에서는 두 층에 걸쳐 있었잖아. 여기서도 같은 이유로 층 하나로는 f 한 번이 안 된다는 게 내 짐작이야. 층 속은 들여다보지 않았으니까 짐작까지만. 그리고 4층이 홉 6 을 95.2% 맞혔으니까 층 하나에 f 한 번이라고 셀 수도 없어. 층 수가 정해져 있으면 한 번에 겹칠 수 있는 횟수에도 끝이 있다는 데까지만 말할 수 있어.

김민준 M07
김민준

그러니까 규칙은 글이고, 따르는 건 동작이네. 글은 아무리 더 적어 줘도 동작 한 번을 대신 못 해 주고, 모델한테는 그 동작이 층이야.

장하은 H08
장하은

아킬레스의 공책이랑 모델의 풀이가 거기서 갈리네요. 아킬레스는 전제를 한 줄 더 적었고, 모델은 한 번 넘어간 결과를 적어요. 전제는 아무리 적어도 남은 홉이 그대로인데, 결과는 한 줄 적을 때마다 남은 홉이 하나 줄어요.

김민준 M12
김민준

거북이한테 필요했던 건 공책이 아니고 층 두 개였네.

선생님 T13
선생님

세 사람이 방금 정리한 것이 요즘 큰 언어 모델을 쓰는 방식이에요. 2022년에 구글의 제이슨 웨이(Jason Wei)와 동료 연구자들은 이미 학습이 끝난 큰 모델에게 풀이가 적힌 예시 몇 개를 물음 앞에 붙여 주기만 해도 산수 문제와 상식 추론 문제의 정답률이 크게 오른다는 것을 보였고, 이 방법을 생각의 체인 (답 앞에 가운데 풀이를 이어 적게 하는 방법 / chain-of-thought)이라고 불렀어요. 앞에서 본 맥스웰 나이의 스크래치패드는 풀이를 적도록 모델을 학습했고, 웨이의 방법은 학습 없이 시작 문장만 바꿨어요. 그 뒤에 나온 추론 모델은 답하기 전에 긴 풀이를 먼저 적도록 처음부터 학습돼 있고, 우리 이야기를 써 주는 연구실 서버의 딥시크도 그런 모델이어서 응답마다 답 앞에 스스로 생각한 글이 붙어 와요. 다만 2층 모델이 적은 풀이를 읽고 답했는지를 우리가 아직 측정하지 않았듯이, 큰 모델이 적은 풀이가 실제로 한 계산과 같은지는 따로 확인해야 하는 물음이에요.

서연은 공책의 「If … so …」 아래에 「f 의 표 ≠ f 를 겹쳐 쓰기」라고 적었다.