멈추는 법: 모른다고 말하게 가르치면 무엇을 잃을까

이은 뒤 끊기는 이야기

문제 1. cannot 이야기를 더 넣으면 오를까

기준 판에 이야기 1,000 편을 더 섞으려 한다. 두 가지 후보가 있고 둘 다 정답은 cannot 이다.

(가) 첫 홉에서 바로 끊기는 cannot 이야기 1,000 편

(나) 한 홉 이상 맞게 이은 뒤 끊기는 깊은 끊김 이야기 1,000 편

깊은 끊김 시험지의 두 홉 이상 칸(기준 19%)은 각각 어떻게 될까? 떼어 둔 이야기의 yes·no 문항은?

김민준 M01
김민준

둘 다 오르지. cannot 이 천 편씩 느는 거니까. (나) 가 좀 더 오르고.

장하은 H01
장하은

(가) 는 이미 88% 인 칸을 더 채우는 거예요. 막힌 칸은 한 번이라도 이은 뒤에 멈추는 거고요.

이서연 S01
이서연

오답의 38% 가 「이어 온 뒤 지나침」이었으니까, 이어 온 뒤 멈추는 장면을 보여 주는 건 (나) 뿐이야. 대신 cannot 을 많이 보면 yes·no 에서도 멈추기 시작할 수 있어.

선생님 T01
선생님

둘 다 학습해 봅시다. (나) 는 1,000 편, 2,000 편, 3,000 편까지 늘려 봐요. 딥시크가 그동안 계속 쓰고 있으니까요.

더 섞은 이야기 깊은 끊김, 두 홉 이상 깊은 끊김, 이은 홉 1 yes·no yes·no 에 cannot 떼어 둔 이야기 전체
없음(기준 판) 19 40 84 4 79
(가) 첫 홉에서 끊김 1,000 편 16 33 83 6 78
(나) 깊은 끊김 1,000 편 46 43 74 12 73
(나) 깊은 끊김 2,000 편 56 56 78 13 76
(나) 깊은 끊김 3,000 편 69 73 79 10 81

위 표는 깊은 끊김 이야기의 편수에 따른 정답률이다(sources/logic-limits/logic_stop.out, lab_table.out 의 M15R·K15R·G15R·H15R·J15R, 시드 셋의 평균, 기준 판은 시드 여섯, %). 깊은 끊김 시험지는 350 문항, 나머지는 떼어 둔 이야기 1,511 문항이다.

(가) 는 막힌 칸을 바꾸지 않았고, (나) 는 편수를 따라 19% 에서 69% 까지 올렸다. 그 대신 yes·no 문항에도 cannot 이라고 답하는 비율이 4% 에서 10~13% 로 늘어, 1,000 편 판은 yes·no 에서 10%p 를 잃었다.

김민준 M04
김민준

막힌 칸은 열렸는데 yes·no 가 빠졌네. 멈추라고 가르쳤더니 안 멈춰도 되는 데서까지 멈추는 거야?

이서연 S01
이서연

그건 따로 들여다봐야겠어. 우선 이은 뒤 멈추는 장면을 보여 줘야 칸이 열린다는 건 확인했어.

깊은 끊김 이야기의 편수에 따른 정답률. 왼쪽은 깊은 끊김 시험지에서 끊기기 전에 두 홉 이상 이은 223 문항, 오른쪽은 떼어 둔 이야기의 yes·no 문항. 파란 선은 딥시크가 쓴 깊은 끊김 이야기, 주황 선은 다음 절의 변형 이야기, 옅은 점은 시드 하나하나. 4,300 편의 두 점은 넣는 양을 15% 로 고정한 판(점선)과 프로그램 문항의 양을 기준 판과 같게 지킨 판(속이 빈 점)(sources/logic-limits/logic_stop.py)
깊은 끊김 이야기의 편수에 따른 정답률. 왼쪽은 깊은 끊김 시험지에서 끊기기 전에 두 홉 이상 이은 223 문항, 오른쪽은 떼어 둔 이야기의 yes·no 문항. 파란 선은 딥시크가 쓴 깊은 끊김 이야기, 주황 선은 다음 절의 변형 이야기, 옅은 점은 시드 하나하나. 4,300 편의 두 점은 넣는 양을 15% 로 고정한 판(점선)과 프로그램 문항의 양을 기준 판과 같게 지킨 판(속이 빈 점)(sources/logic-limits/logic_stop.py)

편수를 4,300 편까지 늘린 판은 통하지 않았다. 깊은 칸은 67% 로 더 오르지 않았고 yes·no 는 63% 로 무너졌다. 넣는 양을 토큰의 15% 로 정해 두어서, 이야기가 늘어난 만큼 프로그램 문항이 기준 판 1,572만 토큰에서 852만 토큰으로 밀려났기 때문이다(sources/logic-limits/mix_tokens.out). 더한 이야기만큼 넣는 양을 늘려 프로그램 문항을 기준 판과 같은 양으로 지키면 같은 4,300 편에서 깊은 칸 76%, 전체 79% 가 된다(logic_stop.out). 무너진 판의 속에서 무엇이 달라졌는지는 「무너진 판의 속을 읽는다」에서 본다.