무엇을 덮는 데이터인가: 논리 데이터 안의 한계 지도

이 장의 물음

규칙 체인 문항을 섞어 배운 루나는 프로그램이 찍은 문항에서는 처음 보는 낱말로 홉이 넷인 문항까지 풀었지만, 같은 규칙 묶음을 딥시크가 아이 둘의 짧은 이야기로 감싸 주자 27~29% 로 우연(33%)에도 못 미쳤다. 이야기 글을 섞어 배우게 하면 점수는 오르는데, 어느 만큼 오른 뒤에는 이야기를 몇 배로 늘려도 한 칸이 꿈쩍하지 않는다. 규칙 체인의 한계 지도에서 문항 수는 가장 센 조건이었다. 그 지도가 맞다면 넣는 글을 늘리는 것이 답이어야 하는데, 왜 늘려도 오르지 않는 칸이 생길까?

이 장에서 세 사람은 데이터의 양 대신 데이터의 모양을 측정한다. 막힌 칸을 좁히고, 논리 능력을 다섯 가지로 나누고, 능력마다 어떤 모양의 데이터가 문턱을 옮기는지를 한 장의 지도로 그린다.

이 장의 모델은 명사 겹침과 상태 낱말의 가짓수를 고친 규칙 체인 문항을 섞어 배운 프리트레인 단계의 루나다. 낱말 목록으로 거른 동화와 지식 글로 프리트레인하면서(8층, 폭 512, 파라미터 2,653만 개, 14,000 스텝) 그 사이에 규칙 체인 문항과 딥시크 이야기를 섞는다. 시험은 학습에 넣지 않고 떼어 둔 딥시크 이야기를 풀이 직전까지 주고 이어 쓰게 해서, 끝에 쓴 답(yes / no / we cannot tell)을 채점한다.

이 장이 끝나면 루나는 딥시크가 이야기로 쓴 규칙 체인을 떼어 둔 1,511 문항에서 79% 푼다. 본 사실이 규칙의 조건과 바로 어긋나는 문항에서는 89% 가 「알 수 없다」고 멈추고, 규칙을 둘 넘게 이은 뒤에 멈춰야 하는 문항은 23% 이하로 남는다.

양을 늘려도 오르지 않는 칸

민준은 딥시크가 쓴 이야기 시험의 출력을 넘겨 보다가 손을 멈췄다. 아이 둘이 눈밭에서 규칙을 주고받는 이야기였는데, 루나는 풀이를 한 줄 엉뚱하게 쓰고는 새 이야기를 지어 쓰고 있었다.

김민준 M05
김민준

프로그램 문항은 네 홉까지 풀던 애가, 같은 규칙을 이야기로 바꿨더니 딴소리를 해. 루나가 읽는 건 동화인데, 동화처럼 물으니까 못 따져.

장하은 H03
장하은

「Sue says the rule.」로 시작하는 글에서만 따지는 거면, 그건 그 글을 푸는 법을 배운 거지 따지는 법을 배운 건 아니잖아요.

이서연 S02
이서연

그럼 이야기를 읽혀야지. 규칙은 프로그램이 정하고 글만 딥시크가 쓰게 하면 정답은 우리가 알아.

딥시크의 이야기는 프로그램이 정한 규칙 묶음을 그대로 담는다. 규칙과 사실과 정답은 프로그램이 정하고, 딥시크는 장소와 말투와 문장 모양만 바꾼다. 이야기 다섯 묶음마다 한 묶음은 시험용으로 떼어 두고, 논리 문항이 차지하는 5% 는 그대로 둔 채 그 안에 이야기 600 편을 넣은 판과 1,430 편을 넣은 판을 시드 셋씩 학습했다.

학습에 섞은 이야기 떼어 둔 이야기 453 문항 답 문장을 쓰지 않은 문항 프로그램 문항, 둘 다 처음인 홉 4
없음 27 / 29 / 29% 39 / 43 / 40% 74%
600 편 45 / 50 / 45% 8 / 3 / 10% 64%
1,430 편 63 / 62 / 62% 2 / 3 / 1% 66%

위 표는 이야기를 섞은 판들이다(sources/logic-limits/story_summary.out, diag_summary.out). 「없음」 줄은 고친 규칙 체인 문항 5% 만 섞은 판을 떼어 둔 453 문항으로 측정한 값이다. 이야기 시험은 시드별, 프로그램 문항은 시드 셋의 평균이고, 우연은 33% 다.

이야기 1,430 편은 21만 토큰으로 논리 문항의 30분의 1 이고 프리트레인 글 전체의 0.2% 가 못 되는데, 그만큼으로 답 문장을 쓰지 않는 문항이 거의 없어졌고 정답률은 28% 에서 62% 로 올랐다. 600 편에서 1,430 편으로 늘릴 때도 15%p 가 올랐으니, 민준은 편수가 아직 막고 있다고 보았다.

김민준 M15
김민준

600 편에서 1,430 편으로 늘렸더니 15 점이 올랐잖아. 4,300 편이면 80 점은 넘겠지.

딥시크에게 이야기를 더 쓰게 해서 편수를 4,300 편까지 늘리고, 이번에는 답의 종류별로도 나눠 적었다.

학습에 섞은 이야기 편수에 따른 떼어 둔 이야기 453 문항의 정답률(왼쪽)과 답 문장을 쓰지 않은 문항의 비율(오른쪽). 큰 표지는 시드 셋의 평균, 옅은 작은 표지는 시드 하나하나, 점선은 우연이다. 답의 종류별 정답률은 1,430 편부터 나눠 측정했다(sources/logic-limits/plot_ld_tables.py)
학습에 섞은 이야기 편수에 따른 떼어 둔 이야기 453 문항의 정답률(왼쪽)과 답 문장을 쓰지 않은 문항의 비율(오른쪽). 큰 표지는 시드 셋의 평균, 옅은 작은 표지는 시드 하나하나, 점선은 우연이다. 답의 종류별 정답률은 1,430 편부터 나눠 측정했다(sources/logic-limits/plot_ld_tables.py)
학습에 섞은 이야기 전체 yes 문항 no 문항 cannot 문항
1,430 편 63 / 62 / 62% 72 / 66 / 76% 67 / 69 / 75% 52 / 52 / 37%
2,100 편 64 / 60 / 66% 80 / 59 / 80% 64 / 76 / 79% 48 / 46 / 41%
2,900 편 68 / 63 / 66% 80 / 77 / 78% 84 / 72 / 80% 42 / 42 / 41%
4,300 편 68 / 68 / 65% 85 / 84 / 74% 78 / 80 / 78% 42 / 41 / 43%

위 표는 이야기 편수를 늘려 간 판들이다(sources/logic-limits/story_summary.out 의 z5R·a5R·d5R·e5R, 떼어 둔 이야기 453 문항, 시드별).

yes 문항과 no 문항은 편수를 따라 80% 안팎까지 올랐는데 cannot 문항은 오히려 조금 내려가 42% 에 머물렀다. 이야기를 넣기 전 판의 cannot 정답률은 54%, 48%, 41% 로 더 높았지만, 그 판은 yes·no 문항을 11~25% 만 맞혔으므로 답을 쓴 문항에서 대개 cannot 을 고른 값이다. cannot 문항은 「알 수 없다」가 정답인 문항이다. 아이가 본 사실에서 규칙을 따라가다 보면, 다음 규칙의 조건이 지금 아는 것과 반대여서 그 규칙이 아무 말도 하지 않는 자리에 닿는다. 틀린 풀이를 읽어 보면 루나는 그 자리에서 조건의 부정을 읽지 않고 규칙을 그대로 써서 끝까지 이어 간다. 아래는 4,300 편을 섞은 루나(시드 1)가 쓴 풀이 하나다(sources/logic-limits/runs_bridge/story_e5R_s1_held2.json).

문항: Amy looked in the snow and saw that the grass is not fast. Amy asked, "Is it true that the pony is white?" … Max said, "When the cave is smooth, the kitchen does not roll. Whenever the grass is not fast, the bell is quiet. If the bell is not quiet, then the pony is white." Max thought out loud.
  정답 풀이: "The grass is not fast, so the bell is quiet. The rule with the bell is not quiet asks for something else, because we have the bell is quiet, and that rule says nothing about this."
  루나:      "The grass is not fast, so the bell is quiet. Then the pony is white. So the answer to the question is yes." Max says yes.
김민준 M04
김민준

80 은커녕 cannot 은 42 야. 세 배를 썼는데.

이서연 S06
이서연

첫 홉은 맞았어요. 「the bell is quiet」를 얻었는데, 다음 규칙은 「the bell is not quiet」일 때의 규칙이에요. 그걸 그대로 썼어요. 편수를 세 배로 늘렸는데 이 실수는 그대로예요.

같은 실수만 겨냥한 데이터도 만들어 보았다. 부정 하나만 다르고 답이 yes 와 cannot 으로 갈리는 이야기 두 편을 나란히 쓰게 한 대조 쌍 700 개를 넣어도 cannot 은 43% 였고, 풀이의 홉마다 쓰는 규칙을 처음부터 끝까지 다시 말하게 한 이야기 1,430 편으로 바꿔 넣자 cannot 이 14% 로 떨어졌다. 루나가 규칙을 찾아 읽는 대신 방금 쓴 사실을 「The rule says if」 뒤에 그대로 옮겨 적는 법을 배웠기 때문이다.

선생님 T14
선생님

처음 보는 낱말에서 양을 세 배로 넣었을 때와 같은 자리예요. 넣을 것부터 고르면 같은 실수를 더 굳히기 쉬워요. 막는 것을 먼저 측정해야 하는데, 지금 시험지로는 측정할 수가 없어요.

이 절에서 얻은 것은 막힌 칸의 이름이다. 이야기 편수는 yes·no 문항을 올렸고, cannot 문항은 편수로 오르지 않는다.