헤매기: 세 번 고쳤는데 점수는 제자리
세 사람이 처음 해 본 것은 따지는 글을 더 읽히는 일이었다. 동화에는 「If」로 시작해 「so」로 맺는 문장이 드물어서, 서연은 연구실 서버의 딥시크에게 규칙 하나와 아는 사실 하나가 나오고 마지막에 인물이 yes, no, 「we cannot tell」 가운데 하나로 답하는 짧은 이야기를 쓰게 했다. 같은 규칙에서 세 답이 한 편씩 나오는 약 2,900 묶음 가운데 열에 하나를 시험용으로 떼고 나머지를 프리트레인 글에 섞었다.
Bob and Sue play a game in the kitchen. The rule is this: in our game, a round thing can fly, and a square thing cannot fly. Bob has a cake. The cake is round. Sue says the rule out loud: a round thing can fly, and a square thing cannot fly. She says the cake is round. So the cake can fly in the game. Bob says yes, the cake can fly.
떼어 둔 묶음 879 문항에서 시드 셋이 71%, 74%, 74% 를 맞혔다(sources/dense/run_steps2.out). 우연은 33% 다.

74 야. 이야기 몇천 편 읽혔다고 바로 따지네. 숙제 끝났다!

무엇 덕분에 올랐는지는 아직 몰라요, 선배. 이야기 속에서 인물이 대신 따져 주는 문장(「So the cake can fly in the game.」)을 베낀 걸 수도 있잖아요.
그래서 따지는 문장만 걷어 낸 판과 걷어 낸 자리를 뜻 없는 문장으로 채운 판을 따로 학습했다.

| 프리트레인에 섞은 논리 이야기 | 떼어 둔 이야기 879 문항 | 겉 단서를 뺀 600 문항 |
|---|---|---|
| 따지는 문장이 든 이야기 | 71 / 74 / 74% | 33 / 33 / 33% |
| 따지는 문장을 걷어 낸 이야기 | 74% (시드 하나) | 33% |
| 걷어 낸 자리를 뜻 없는 문장으로 채운 이야기 | 65 / 63 / 65% | 32 / 30 / 30% |
| 낱말만 세는 분류기(모델 아님) | 75.8% | 33.0% |

따지는 문장을 빼도 74 야. 넣으나 빼나 같아.

그 밑 줄을 봐요. 낱말만 세는 분류기가 75.8 이에요. 글에 not 이 몇 번 나오는지, 어떤 두 낱말이 붙어 나오는지만 세는 프로그램인데(sources/dense/shallow_baseline.py) 루나보다 높아요.
규칙을 따라가는 일을 하지 않는 분류기가 75.8% 를 맞혔으니 이 시험은 규칙을 따라가지 않아도 풀린다. 서연은 같은 낱말로 된 문항에서 사실 하나만 뒤집으면 답이 바뀌게 프로그램으로 찍은 600 문항을 새로 만들었고(sources/dense/logic_bench.py), 이 시험에서는 분류기도 세 판도 30~33% 로 우연과 같았다. 민준은 화면의 33 을 보고 한동안 말이 없었다.

그러니까 지금까지 오른 건 전부 낱말 세기였을 수 있다는 거네. 따지는 문장을 넣었다, 뺐다, 채웠다, 세 번을 고쳤는데 우리가 뭘 바꾼 건지 모르겠어.

이야기를 더 쓰게 할까? 아니면 모델을 키울까? 학습을 더 돌릴까? 다 해 보려면 판이 몇 개야.

고를 기준이 없어요. 선생님께 가요.
세 사람이 표 한 장을 들고 연구실 문을 두드리자, 선생님은 표를 한참 보고 나서 칠판에 낱말 넷을 적었다.

세 판은 모두 「무엇을 더 넣을까」에 대한 답이에요. 그런데 지금 우리는 무엇이 막고 있는지를 몰라요. 막는 것의 후보는 넷이에요. 문제가 어려운 정도, 서로 다른 문항의 수, 모델의 크기, 학습 시간. 넷 가운데 어느 것이 막고 있는지부터 측정해요. 넣을 것은 그다음에 골라요.

루나로 측정하면 판 하나에 이십 분이에요. 넷을 다 바꿔 가며 돌리려면 며칠이 걸려요.

그래서 루나로 측정하지 않아요. 동화를 치우고, 규칙 문항만 남기고, 모델도 작게 해요. 판 하나가 일 분이면 수백 판을 돌릴 수 있어요. 좁은 문제에서 지도를 먼저 그리고, 그 지도가 루나에게도 맞는지는 마지막에 확인해요.