따져 보기: 무엇이 루나의 추론을 막고 있을까

루나에게: 지도가 가리킨 대로 넣는다

지도대로라면 8층인 루나에게 모자란 것은 서로 다른 문항이고, 바로 답하기라면 수만 개가, 풀이를 적게 하면 그보다 적은 수가 필요하다. 남은 물음은 규칙 문항만 읽은 측정용 모델에서 그린 지도가, 읽는 글의 대부분이 동화인 루나에게도 맞느냐였다.

프리트레인 방법은 그대로 두고 한 가지만 바꾸었다(sources/logic-limits/luna_bridge.py). 동화와 지식 글 1억 2,123만 토큰 사이사이에 규칙 체인 문항(홉 1~4, 상관없는 규칙 하나)을 한 편씩 흩어 넣는다. 넣는 양은 전체 토큰의 1.5%, 5%, 15% 세 가지, 문항의 모양은 바로 답하기와 풀이 적기 두 가지다.

루나의 프리트레인에 규칙 체인 문항을 섞은 판들의 정답률. 파란 막대는 배운 홉 카운트(1~4), 주황 막대는 홉 4 의 「알 수 없다」 문항, 초록 막대는 배운 것보다 긴 체인(홉 5·6)이다. 막대는 시드 평균, 점은 시드 하나하나다(sources/logic-limits/plot_limits.py)
루나의 프리트레인에 규칙 체인 문항을 섞은 판들의 정답률. 파란 막대는 배운 홉 카운트(1~4), 주황 막대는 홉 4 의 「알 수 없다」 문항, 초록 막대는 배운 것보다 긴 체인(홉 5·6)이다. 막대는 시드 평균, 점은 시드 하나하나다(sources/logic-limits/plot_limits.py)
넣은 문항 넣은 양 홉 4 문항 그 가운데 cannot 문항 동화의 바이트당 비트
없음 0 32 / 30 / 35 0 / 0 / 0 0.6331 / 0.6342 / 0.6357
바로 답하기 1.5% 65 / 64 / 63 23 / 10 / 1 0.6347 / 0.6348 / 0.6361
바로 답하기 5% 93 / 66 / 59 91 / 0 / 10 0.6369 / 0.6397 / 0.6376
바로 답하기 15% 100 / 98 / 97 100 / 95 / 97 0.6356 / 0.6336 / 0.6373
풀이 적기 1.5% 97 / 94 / 96 92 / 87 / 94 0.6373 / 0.6337 / 0.6366
풀이 적기 5% 98 / 98 / 99 96 / 94 / 98 0.6339 / 0.6372 / 0.6347
풀이 적기 15% 100 / 100 / 100 100 / 100 / 99 0.6375 / 0.6377 / 0.6361

표의 값은 시드마다의 정답률(%)이고 처음 보는 쌍 300 문항으로 측정했다(sources/logic-limits/bridge_summary.out). 8층, 폭 512, 14,000 스텝은 모든 판이 같고, 같은 문항은 두 번 넣지 않았다. 넣은 문항 수는 바로 답하기가 21,506 개, 74,224 개, 248,785 개이고, 풀이 적기는 글이 길어서 18,306 개, 63,176 개, 211,794 개다. 낱말만 세는 분류기는 같은 종류의 문항에서 34~46% 였다. 동화의 바이트당 비트는 낱말 목록으로 거르지 않은 타이니스토리즈 검증 글 전체에서 측정한 값이다.

작은 모델에서 그린 지도가 루나에서도 맞았다. 풀이 적기는 1만 8천 개만 넣어도 세 시드가 94~97% 였고 cannot 문항도 87~94% 를 맞혔다. 바로 답하기 문항 2만 개는 63~65% 에 cannot 이 1~23% 여서 끝의 규칙만 읽는 방법에 머물렀고, 7만 개에서는 시드 하나만 93% 로 올랐으며, 25만 개를 넣어야 세 시드가 모두 97% 를 넘었다. 치른 값은 작아서, 동화의 바이트당 비트는 가장 많이 나빠진 판이 논리 문항 없는 루나보다 0.004 쯤 높았다.

풀이 적기 문항을 1.5% 넣은 루나에게 처음 보는 쌍의 문항을 주고 이어 쓰게 했다. 아래는 체인이 가운데에서 끊기는 문항이다.

Sue asks if the pond is loud. Tim says the rule. If the lamp is green, then the pan is not soft. If the pan is soft, then the pond is not loud. If the flag is hot, then the lamp is green. If the boat is not hot, then the fish is not old. Tim says we do not know if the boat is hot. Sue sees that the flag is hot. Tim says
  → the flag is hot so the lamp is green so the pan is not soft cannot
김민준 M08
김민준

깃발에서 램프, 램프에서 팬까지 가고, 팬이 soft 가 아니라서 거기서 멈췄어. 규칙은 「팬이 soft 면」이었으니까. 끊긴 자리를 찾았어!

장하은 H08
장하은

이 문항은 낱말만 세서는 못 풀어요. 「not loud」가 규칙에 그대로 있는데도 no 라고 안 했어요.

민준은 출력 끝의 cannot 을 손가락으로 짚은 채 한참 웃었다.

김민준 M11
김민준

해가 안 난 날에도 공원에 간다던 애가, 규칙이 말해 주지 않는 데서 멈췄어. 잘했다, 루나.

이서연 S04
이서연

아직 프로그램이 찍은 문항에서만이야. 대화도 안 배운 루나고.

그렇게 말하면서도 서연은 설정서 공책을 펴서, 여섯째 줄 「모르면 모른다고 한다」 옆에 작은 세모를 하나 그려 넣었다.

이서연 S11
이서연

처음에 우리가 넣은 게 2,900 묶음이었고, 지금은 2만 개야. 2,900 묶음으로는 따지는 문장을 넣을지 뺄지를 가를 수 없었던 거네.

선생님 T13
선생님

막는 것을 먼저 측정했으니 무엇을 넣을지가 정해진 거예요. 층은 넉넉했고, 문항이 모자랐고, 풀이를 적게 하면 모자란 문항이 덜 필요했어요. 세 가지를 다 확인하고 나서 넣었어요.