따져 보기: 무엇이 루나의 추론을 막고 있을까

측정하는 법: 동화를 치우고 규칙 체인만 남긴다

막는 것을 측정하려면 문제의 어려운 정도를 숫자 하나로 올리고 내릴 수 있어야 한다. 딥시크가 쓴 이야기는 그렇게 할 수 없어서, 세 사람은 프로그램이 찍는 규칙 체인 문항을 만들었다(sources/logic-limits/map.py). 성질 몇 개를 규칙으로 줄줄이 이어 두고, 맨 앞 성질에 대한 사실 하나를 준 다음, 맨 끝 성질을 묻는 문항이다. 영어 hop 은 한 발로 폴짝 뛴다는 낱말이다. 징검다리를 건널 때 돌 하나에서 다음 돌로 뛰는 것이 한 번의 hop 이듯, 사실 하나에서 규칙 하나를 따라 다음 성질로 건너가는 한 번을 홉 (규칙 하나를 따라 다음 성질로 건너뛰는 한 번 / hop)이라 하고, 답에 이르기까지 뛰어야 하는 횟수를 홉 카운트라고 부른다. 한 번 뛰어서는 답에 닿지 못하고 가운데 결론을 디딤돌로 삼아 여러 번 뛰어야 하는 추론을 연구자들은 멀티홉 추론 (가운데 결론을 거쳐 여러 번 건너뛰어야 답에 이르는 추론 / multi-hop reasoning)이라고 한다. 「루나의 Daddy 가 기르는 동물은 무엇을 먹을까」에 답하려면 Daddy 가 누구인지, 그 사람이 무엇을 기르는지, 그 동물이 무엇을 먹는지를 차례로 건너야 하는 것과 같다. 아래는 홉이 셋인 문항이다.

Lucy asks if the bird is big. Sue says the rule. If the cat is not loud, then the bird is not big. If the jar is not open, then the gate is not dry. If the pond is not wet, then the hat is not open. If the gate is not dry, then the cat is not loud. Sue says the rock is not open. Lucy sees that the jar is not open. Sue says  →  no

병이 열려 있지 않다는 사실에서 출발해 문, 고양이, 새의 순서로 규칙 셋을 이으면 「새는 크지 않다」가 나오므로 답은 no 다. 규칙은 섞여서 나오고, 묻는 것과 상관없는 규칙(연못과 모자)과 상관없는 사실(바위)도 하나씩 끼어 있다. 문항은 홉 카운트를 늘리거나 상관없는 규칙의 수를 늘려서 어렵게 만든다. 성질은 「the 명사 is 상태」 모양이고 명사 30 개와 상태 16 개로 만든 480 개 가운데 96 개를 쓴다.

장하은 H02
장하은

답이 「알 수 없다」인 문항은 어떻게 만들어요? 진리표로 보면, 「A 면 B」에서 A 가 거짓일 때는 B 에 대해 아무 말도 못 해요.

이서연 S01
이서연

그걸 그대로 써. 체인의 한 군데만 어긋나게 해. 사실이 첫 규칙의 조건과 다르거나, 앞 규칙의 결론이 다음 규칙의 조건과 다르면 거기서 끊기니까 답은 cannot 이야. 어긋나는 자리는 고르게 뽑고, 세 답은 같은 수로 맞춰.

헤매던 때의 일을 되풀이하지 않도록 시험에 세 가지를 미리 정했다. 시험 문항은 학습에 한 번도 나오지 않은 처음 보는 쌍으로만 만든다(쌍은 체인의 맨 앞 성질과 맨 끝 성질을 묶은 것이고, 전체 쌍의 20% 를 시험에만 쓴다). 낱말만 세는 분류기에게도 칸마다 같은 문항으로 같은 시험을 치르게 했는데, 어느 칸에서도 34~46% 에 머물렀으므로 그보다 뚜렷이 높은 점수는 낱말 세기로 얻은 것이 아니다. 그리고 정답이 cannot 인 문항의 정답률을 따로 적는데, 그 이유는 문제 1 에서 다룬다.

측정용 모델은 낱말 하나를 토큰 하나로 읽는 작은 트랜스포머이고, 기준은 4층, 폭 256, 파라미터 321만 개에 6,000 스텝 학습이다. 기준 문항은 홉 카운트 2 이하에 상관없는 규칙이 하나 끼고 서로 다른 문항이 1만 개인 묶음이며, 여기서 조건을 한 번에 하나씩만 바꾸면서 칸마다 시드 셋을 돌린다.

선생님 T01
선생님

조건을 둘씩 바꾸면 빨리 끝나지만, 점수가 변했을 때 어느 조건 때문인지 말할 수 없어요. 세 판을 고치고도 무엇을 바꿨는지 몰랐던 게 그래서예요.

문제 1. 끝의 규칙 하나만 읽는 학생

어떤 학생이 체인을 따라가지 않고, 묻는 성질이 결론에 나오는 규칙 하나만 찾아 읽는다. 그 규칙의 결론이 「is」면 yes, 「is not」이면 no 라고 답한다. 세 답이 같은 수로 든 시험에서 이 학생은 (가) 정답이 yes 나 no 인 문항, (나) 정답이 cannot 인 문항, (다) 시험 전체에서 각각 몇 % 를 맞히는가?

김민준 M01
김민준

(가)는 다 맞혀. 체인이 끝까지 이어졌으면 답은 마지막 규칙의 결론 그대로니까.

이서연 S07
이서연

(나)는 0 이야. 이 학생은 cannot 이라고 답하는 법이 없어. 그러면 (다)는 셋 가운데 둘, 66.7%.

김민준 M08
김민준

우연이 33 인데 체인을 한 번도 안 따라가고 67 이 나오네. 아까 우리 71, 74 가 그 근처였어.

선생님 T14
선생님

그래서 전체 정답률만 보면 속아요. 체인을 따라갔는지는 cannot 문항에서만 드러나요. 전체가 67% 근처이고 cannot 이 0 에 가까우면 이 학생과 같은 방법을 쓴다고 읽어요.