멈추는 법: 모른다고 말하게 가르치면 무엇을 잃을까

한계 지형: 무엇이 무엇을 움직였나

이 장에서 바꾼 조건을 한 표에 모으면 다음과 같다. 숫자는 위의 표들에서 옮겼다.

바꾼 조건 움직인 것 움직이지 않은 것 치른 값
이어 간 뒤 끊기는 이야기(딥시크 또는 변형) 깊은 칸 19 → 77%(변형 3,000 편, 14,000 스텝), 「지나침」 오답 38 → 5% 변별력(1.97, 기준 판 범위 안), 틀 밖 균형 묶음의 cannot, 역·이 물음 yes·no 84 → 74%, 오경보율 4 → 16%
첫 홉에서 끊기는 이야기, 답 비율 맞추기 없음 깊은 칸(16%, 27%) 답 비율 판은 yes·no 76%
스텝 두 배(28,000) 데이터가 연 칸 위에서 yes·no 를 되찾음(변형 1,000 편 판 74 → 81%), 변별력을 기준 판 수준으로(1.74 → 2.25, 14,000 스텝 쪽은 시드 하나가 1.12), 시드 하나가 무너지는 일이 사라짐 데이터 없이는 깊은 칸(19%), 변별력을 기준 판 범위 위로 학습 시간 두 배
프로그램 문항 양 지키기(데이터 믹스) 이야기 없는 규칙 문항(60 → 72%), 4,300 편 판의 붕괴(전체 67 → 79%) 이야기 쪽 yes·no(74 → 74%) 논리 글이 학습 토큰의 15% 보다 늘어남
모델 3.3 배(87M) 평균으로 전체(79 → 83%)와 변별력(2.21 → 2.51). 시드 셋의 범위가 26M 기준 판과 겹쳐 판정 없음 데이터를 넣을 때의 맞바꿈(yes·no 89 → 80%) 파라미터 3.3 배
87M + 프로그램 문항 양 지키기 깊은 칸 82%, 전체 85%, yes·no 손실 9 → 5%p(87M 기준 판 대비) 변별력 2.59 는 시드 여섯에서도 범위가 겹쳐 판정 없음 파라미터 3.3 배, 논리 글 비중이 15% 보다 늘어남
프로그램 문항의 고정 축 넓히기 본 사실의 자리, 딴 규칙 수의 낭떠러지(68 → 84%) 없음 이야기 시험 전체 79 → 71%(스텝 두 배에서 77%)
다른 글 모양의 부정 대조 쌍(딥시크) 없음 균형 묶음의 cannot(21 → 23%) 이야기 시험 전체 79 → 71%

숫자의 출처는 각 절의 표와 아래 소절이다(logic_stop.out, lab_table.out, lab_extra.out, edge_scan_4.out).

장하은 H01
장하은

줄마다 움직인 것과 안 움직인 것이 갈려요. 데이터는 칸을 열고, 스텝과 믹스는 열면서 생긴 손실을 막아요.

아직 남은 벽

표의 아래 두 줄은 같은 판들로 다른 칸을 다시 측정한 결과다. 프로그램 문항에는 학습 문항을 만드는 프로그램이 한 값으로 고정해 둔 축이 있었는데, 본 사실을 늘 규칙 뒤에 적었고 딴 규칙은 늘 하나였다. 본 사실을 규칙 앞에 적은 문항의 홉 4 는 68% 였고, 사실을 앞에 적은 문항을 섞어 넣자 84%(스텝 두 배로 92%)가 되었다. 딴 규칙이 여섯 개인 문항의 홉 2 도 딴 규칙을 넷까지 섞어 넣자 74% 에서 82%(스텝 두 배로 93%)로 올랐다(sources/logic-limits/edge_scan_4.out, 배운 성질, 시드 셋의 평균). 깊은 칸과 마찬가지로 축을 넓힌 데이터가 칸을 열었다.

배운 글 모양 밖의 칸은 이 장의 어떤 조건으로도 열리지 않았다. 겉 단서를 걷어 낸 균형 묶음의 cannot 은 이야기를 넣기 전 판이 48% 였는데 기준 판은 21% 이고, 이 장의 26M 판 모두 20~34% 다. 기준 판의 틀린 답 가운데 73~88% 가 조건이 반대인 규칙을 그대로 쓴 것이었다(bench_probe.out). 딥시크가 표지판·편지 같은 다른 글 모양으로 쓴 부정 대조 쌍 750 개를 넣어도 21% 에서 23% 가 되었을 뿐이고 떼어 둔 이야기 전체가 79% 에서 71% 로 내려갔다(lab_extra.out, lab_table.out 의 M15cR). 다섯 살 시험지의 역·이 물음(「A 면 B」에서 B 를 보고 A 라고 하기)은 모든 판에서 0% 였다(five_scan.out, five_scan_2.out). 이야기 글 안에서 배운 「조건이 반대면 멈춘다」는 다른 글 모양으로 옮겨 가지 않았다.

벽을 다 적은 뒤, 서연은 겨울 방학 첫 주에 민준이 「모르면서 아는 척한다」고 했던 기준 판과 이 장의 마지막 판을 같은 두 문항에서 나란히 놓았다. 마지막 판은 변형 이야기 3,000 편을 섞고 프로그램 문항의 양을 지킨 87M 판이다. 고른 기준은 두 가지, 멈춰야 할 곳에서 멈추기와 아는 것은 그대로 안다고 하기였다. 26M 에서 스텝을 두 배로 준 판도 깊은 칸을 75% 로 열었지만 yes·no 문항의 13% 에 모른다고 해서 둘째 기준을 채우지 못했다. 첫 문항은 두 홉을 이은 뒤 멈춰야 하고(정답 cannot), 둘째 문항은 세 홉을 끝까지 이어야 한다(정답 yes).

문항 1(정답 cannot): … when the road is not sour, the mouse is heavy. The road is not sour when the plant moves … As soon as the mouse is not heavy, the field is brown … Tim looked and saw that the plant moves.
  기준 판:   Lily said, "I see the plant moves, so the road is not sour." "Then the mouse is heavy, because the road is not sour." "The field is brown, so the answer to the question is yes." Lily says yes.
  마지막 판: Lily said, "I see the plant moves, so the road is not sour. Then the mouse is heavy. The rule about this needs the mouse is not heavy, but we have the mouse is heavy. That rule says nothing about this case." Lily says we cannot tell.

문항 2(정답 yes): … Sam saw that the desk is weak. … "The pillow is thin when the desk is weak." … "Whenever the pillow is thin, the box is busy." … "The paper is asleep if the box is busy." …
  기준 판:   Ben said, "I see the desk is weak, so the pillow is thin. Then the box is busy, so the paper is asleep. That means the answer to the question is yes." Ben says yes.
  마지막 판: Ben said, "I see the desk is weak, so the pillow is thin. The box is busy, so the paper is asleep. So the answer is yes." Ben says yes.

위 출력은 기준 판의 시드 1 과 마지막 판의 시드 3 이 쓴 풀이다(runs_bridge/story_M15R_s1_deep.json·story_Y15kR+big_s3_deep.json 의 cd000030, story_M15R_s1_held2.json·story_Y15kR+big_s3_held2.json 의 Ben 문항). 마지막 판의 시드 1 도 문항 2 에 yes 라고 답했지만, 끼어 있는 다른 규칙(「The grass has a tree …」)을 거쳐 우연히 맞혔으므로 보기로 싣지 않았다. 문항 2 는 스텝을 늘리기 전의 변형 3,000 편 판이 잘못 멈췄던 문항이다.

판 깊은 끊김, 두 홉 이상 적중률 yes·no 오경보율 떼어 둔 이야기 전체 변별력 d′
기준 판 19 69 84 4 79 2.21
마지막 판(변형 이야기 3,000 편, 프로그램 문항 양 지킴, 87M) 82 89 84 9 85 2.59

위 표는 두 판의 성적이다(logic_stop.out, 두 판 모두 시드 여섯의 평균, 변별력 말고는 %). 깊은 칸이 19% 에서 82% 로, 떼어 둔 이야기 전체가 79% 에서 85% 로 오르는 동안 아는 yes·no 문항은 처음과 같은 84% 를 맞힌다. 루나는 규칙을 둘, 셋 이은 뒤에도 조건이 맞지 않으면 멈추고, 멈추는 이유를 직접 쓴다.

김민준 M09
김민준

「That rule says nothing about this case.」 처음엔 맞지도 않는 규칙으로 yes 라고 하던 애가, 이제는 어디서 막혔는지까지 말해. 모른다고 말할 줄 아니까 더 루나 같아.

장하은 H08
장하은

문항 2 를 보세요. 변형 이야기만 넣었을 때는 여기서 멈췄잖아요. 이번엔 끝까지 이어 가요. 아는 것은 안다고 하는 쪽도 돌아왔어요.

이서연 S01
이서연

다 돌아온 건 아니야. 아는 문항에 모른다고 하는 비율이 4% 에서 9% 로 올랐고, 같은 크기 기준 판은 3% 였어. 그건 숨기지 말고 같이 적어 두자.

오경보율 9% 는 시드별 5~12% 로 기준 판의 3~6% 와 범위가 겹친다. 87M 기준 판(yes·no 89%)과 비교하면 yes·no 를 5%p 잃었고, 변별력 2.59 도 그 판과 범위가 겹쳐서 판단 자체가 날카로워졌다고는 말할 수 없다.

서연은 설정서 공책의 여섯째 줄 옆에 「19 → 82」를 적고, 그 아래에 작게 「9」를 적었다.