따져 보기: 무엇이 루나의 추론을 막고 있을까

풀이를 적게 하면

지도에는 넘지 못한 칸이 둘 남았는데, 층이 둘뿐인 모델과 문항이 1만 개 아래인 칸이다. 사람은 긴 체인을 머릿속으로만 풀지 않고 가운데 결론을 종이에 적으면서 푼다. 그렇다면 모델에게도 답하기 전에 가운데 결론을 쓰게 하면 어떨까?

선생님 T01
선생님

여러 단계가 필요한 계산을 한 번에 내놓게 하면 못 하던 모델이, 중간 결과를 쓰도록 학습하면 긴 덧셈과 프로그램 실행까지 해낸다는 것을 맥스웰 나이(Maxwell Nye)와 동료 연구자들이 2021년에 보였어요. 그 논문은 모델이 중간 결과를 쓰는 자리를 스크래치패드라고 불렀어요. 우리도 같은 것을 가장 작은 규모로 해 봐요. 대조군을 하나 더 둬야 하고요.

같은 문항에서 답 앞에 쓰는 글만 다른 세 판을 만들었다(sources/logic-limits/steps.py). 바로 답하기는 지금까지처럼 문항 바로 뒤에 답을 쓴다. 풀이 적기는 사실에서 출발해 규칙을 하나 쓸 때마다 얻은 결론을 「so」로 이어 적고 나서 답하고, 체인이 끊기는 자리에서는 「so」 대신 cannot 을 쓴다. 채우기는 풀이 적기와 같은 길이만큼 뜻 없는 낱말 「think」를 늘어놓고 답한다.

바로 답하기   … Lucy sees that the jar is not open. Sue says no
풀이 적기     … Lucy sees that the jar is not open. Sue says the jar is not open so the gate is not dry so the cat is not loud so the bird is not big no
채우기       … Lucy sees that the jar is not open. Sue says think think think … think no
장하은 H03
장하은

채우기는 왜 넣어요? 답이 뻔한데.

이서연 S01
이서연

답 앞에 토큰이 늘면 모델이 계산할 자리도 늘어. 풀이 적기가 이겼을 때, 적은 내용 때문인지 자리가 늘어서인지를 가르려면 자리만 늘린 판이 있어야 해.

홉 4 까지 배운 모델을 다섯 칸에서 비교했다. 풀이 적기 판은 문항만 주고 한 토큰씩 스스로 쓰게 해서, 처음 나온 답 토큰으로 채점했다.

답 앞에 쓰는 글에 따른 처음 보는 쌍의 정답률(홉 1~4). 막대는 시드 셋의 평균, 점은 시드 하나하나다(sources/logic-limits/plot_limits.py)
답 앞에 쓰는 글에 따른 처음 보는 쌍의 정답률(홉 1~4). 막대는 시드 셋의 평균, 점은 시드 하나하나다(sources/logic-limits/plot_limits.py)
칸 바로 답하기 채우기 풀이 적기
4층, 문항 10만 87.5 92.2 99.3
2층, 문항 10만 68.5 62.8 99.0
1층, 문항 10만 50.4 49.2 42.5
4층, 문항 1만 58.0 56.4 89.0
4층, 문항 3천 45.7 41.4 67.5

값은 시드 셋의 평균(%)이다(sources/logic-limits/steps_summary.out). 2층 모델은 바로 답하기로 68.5% 였는데 풀이를 적게 하자 99.0% 가 되어 4층 모델과 같아졌고, 문항이 1만 개뿐인 칸도 58.0% 에서 89.0% 로 올랐다. 채우기는 2층과 문항 1만 개 칸에서 바로 답하기보다 낮았으므로, 두 칸에서 오른 것은 늘어난 자리가 아니라 적은 내용 덕분이다. 풀이를 적으면 모델은 한 번에 규칙 하나만 이으면 되고, 방금 적은 결론을 다음 홉의 출발점으로 다시 읽을 수 있다.

김민준 M11
김민준

4층도 달라졌어. 바로 답하기는 시드 하나가 71 에서 멈췄는데, 풀이 적기는 셋 다 99 야.

이서연 S06
이서연

1층은 풀이를 적어도 42 네. 홉 하나도 층 하나로는 안 되는 거야.

문항이 3,000 개인 칸은 67.5% 까지만 올랐으니, 풀이를 적는 일은 필요한 문항 수를 열 배쯤 줄여 주었지만 0 으로 만들지는 못했다. 여기까지는 홉 4 까지 배운 칸에서 얻은 결론이다. 돌린 일곱 칸 가운데 표에 싣지 않은 「홉 2 까지만 배운 칸」에서는 풀이 적기의 시드 하나가 cannot 문항을 하나도 맞히지 못해서, 평균이 88.4% 로 바로 답하기의 93.9% 보다 낮았다.

배운 것보다 긴 체인

홉 4 까지만 배운 모델이 더 긴 체인을 푸는지도 측정했다. 측정용 모델은 토큰의 자리마다 위치 임베딩을 따로 배우므로, 긴 문항의 끝자리가 한 번도 학습되지 않은 자리로 남지 않도록 세 판 모두 글이 시작하는 자리를 무작위로 밀어 학습했다(밀지 않은 한계 지도의 칸들은 긴 체인에서 대부분 35~55% 였다). 바로 답하기는 홉 5 에서 79.8%, 홉 6 에서 76.2% 를 맞혔고, 풀이 적기는 95.2%, 83.7% 였다. 홉 8 에서는 64.4% 와 55.7% 로 둘 다 떨어졌으므로, 모델은 배운 것보다 홉이 한둘 많은 체인까지는 풀고 그 범위에서는 풀이 적기가 더 낫다고 말할 수 있다.

문제 3. 풀이는 틀리고 답은 맞다

2층 모델의 풀이 적기 판은 홉 4 문항에서 답을 98.3% 맞혔다. 그런데 적은 풀이가 처음부터 끝까지 정답 풀이와 글자 그대로 같은 문항은 34.1% 뿐이었다. 4층 모델은 답 98.1%, 풀이 92.8% 다(시드 셋의 평균, sources/logic-limits/steps_results.jsonl 의 홉 4 값). (가) 2층 모델은 적은 풀이를 읽고 답했다고 말할 수 있는가? (나) 이것을 가리려면 무엇을 더 측정해야 하는가?

김민준 M06
김민준

(가) 풀이가 틀렸는데 답이 맞으면, 풀이를 안 보고 답한 거 아니야?

이서연 S02
이서연

꼭 그렇진 않아. 풀이가 어디서 틀렸는지 몰라. 중간 성질의 이름 하나를 잘못 적고도 마지막 결론은 맞게 적었을 수 있어. 「글자 그대로 같다」는 기준이 너무 엄한 걸 수도 있고.

장하은 H02
장하은

(나)는 적은 풀이를 일부러 고쳐 보면 돼요. 모델이 쓴 가운데 결론 하나를 반대로 바꿔 넣고, 답이 따라 바뀌는지 보는 거예요. 바뀌면 읽고 답한 거고, 안 바뀌면 풀이는 장식이에요.

선생님 T01
선생님

하은 학생의 방법이 맞아요. 이 장에서는 그 실험을 하지 않았으니, 2층 모델이 풀이를 읽고 답했다고도 안 읽었다고도 적지 않아요. 적을 수 있는 것은 풀이를 적도록 학습한 2층 모델이 답을 98.3% 맞혔다는 것까지예요.