무너진 판의 속을 읽는다
넣는 양을 15% 로 고정한 판은 무너졌고, 프로그램 문항의 양을 지킨 판은 딥시크 깊은 끊김 이야기 4,300 편을 똑같이 읽고도 버텼다. 정답률만으로는 무너진 판에서 무엇이 상했는지 알 수 없다. 무너진 판이 가장 크게 잃은 곳은 프로그램 문항보다 떼어 둔 이야기의 yes·no 문항이었다. 떼어 둔 이야기의 yes·no 문항에 cannot 이라고 답한 비율이 24% 였고(양을 지킨 판 12%, 기준 판 4%, sources/logic-limits/sdt_table.out), 프로그램 문항의 정답률은 세 시드 가운데 하나만 따로 떨어졌다.

프로그램 문항을 덜 읽었는데 이야기에서 무너졌어요. 무너진 판은 멈춰야 하는 곳을 못 알아보게 된 건가요, 알아보는데도 쉽게 멈추는 건가요?

오경보율만으로는 둘을 못 나눠. 속을 읽어야 해.

읽을 자리부터 정해요. 루나는 문항을 읽자마자 답을 정하지 않아요. 풀이에서 성질 하나를 적을 때마다 다음 규칙을 이을지 멈출지를 정해요. 그 판단이 내려지는 자리를 읽어야 해요.
서연은 이을지 멈출지가 정해지는 이 토큰 위치를 판단 자리라고 불렀다. 떼어 둔 이야기 1,511 문항과 깊은 끊김 시험지 350 문항의 정답 풀이를, 성질 하나를 적은 문장이 끝나는 곳까지 잘라 문항 뒤에 붙인다. 정답 풀이의 다음 문장이 「The rule about this needs …, but we have ….」 같은 끊김이면 멈출 자리, 다음 성질이면 이을 자리이고, 답만 남은 yes·no 문항의 마지막 문장 뒤는 뺐다. 이렇게 모은 판단 자리는 2,217 곳이고 멈출 자리가 692 곳, 이을 자리가 1,525 곳이다.
읽는 도구는 층마다 무엇이 읽히는지를 볼 때 쓴 선형 탐침이다. 판단 자리의 마지막 토큰에서 잔차 스트림을 꺼내 「멈출 자리 / 이을 자리」를 맞히는 로지스틱 회귀를 학습하고, 학습에 쓰지 않은 이야기의 자리에서 채점한다. 점수는 AUC 로, 멈출 자리 하나와 이을 자리 하나를 뽑았을 때 탐침이 멈출 자리에 더 높은 값을 줄 확률이고 구분하지 못하면 0.5 다.

탐침을 돌리기 전에 먼저 측정할 값이 둘 있어요. 하나는 모델 없이 얻는 점수예요. 멈출 자리는 풀이의 뒤쪽에 많고 규칙이 많은 문항에 많으니까, 그런 겉 정보만으로도 얼마쯤은 맞혀요. 다른 하나는 논리 글을 한 편도 읽지 않은 루나의 탐침이에요. 탐침은 입력에 적힌 낱말만으로도 점수를 낼 수 있어요. 이 두 값보다 높은 부분만 계산의 근거로 읽어요.
몇 홉을 이었는지, 규칙이 몇 개인지, 글이 얼마나 긴지만 적은 표로 같은 회귀를 학습하면 AUC 가 0.72 다. 글에 나온 토큰의 수만 세어 학습하면 0.66 이고, 논리 글을 읽지 않은 판의 탐침은 0.68 로 겉 정보만 쓴 회귀보다 낮다.

| 판 | 탐침 AUC (시드별) | 이은 홉 수가 같은 자리끼리 |
|---|---|---|
| 모델 없음: 이은 홉 수·규칙 수·글 길이 | 0.72 | 0.69 |
| 모델 없음: 토큰 세기 | 0.66 | 0.56 |
| 논리 글을 읽지 않은 판 | 0.68 (0.68·0.68·0.69) | 0.54 |
| 기준 판 | 0.94 (0.92·0.95·0.96) | 0.94 |
| 깊은 끊김 3,000 편 | 0.97 (0.99·0.98·0.96) | 0.97 |
| 깊은 끊김 4,300 편, 넣는 양 고정 | 0.84 (0.97·0.85·0.69) | 0.78 (0.98·0.83·0.55) |
| 깊은 끊김 4,300 편, 프로그램 문항 양 지킴 | 0.98 (0.98·0.97·0.98) | 0.98 (0.99·0.97·0.98) |
위 표는 판단 자리 2,217 곳의 탐침이다(sources/logic-limits/inside_stop.out 1-1절, 시드 셋의 평균, 괄호는 시드별). 오른쪽 열은 떼어 둔 이야기에서 한 홉 이상 이은 자리만 골라, 이은 홉 수가 같은 멈출 자리와 이을 자리를 짝지었을 때 탐침이 멈출 자리에 더 높은 값을 준 비율이다. 풀이의 뒤쪽일수록 멈출 자리가 많다는 겉 정보가 이 열에서는 빠진다.

넣는 양을 고정한 판만 점이 흩어졌어. 0.97, 0.85, 0.69. 셋째 시드는 논리 글을 안 읽은 판이랑 같은 높이야.

그 세 시드의 떼어 둔 이야기 정답률이 74%, 64%, 61% 였어. 탐침이 낮은 시드일수록 정답률도 낮아. 셋째 시드는 이은 홉 수를 맞춰 짝지으면 0.55 야. 다음 규칙의 조건이 지금 가진 사실과 맞는지 어긋나는지가 판단 자리에서 거의 읽히지 않아.

그러면 쉽게 멈추게 된 것만이 아니네요. 가려낼 재료가 줄었어요.

거기까지는 말할 수 있어요. 하지만 판정은 책의 규칙대로 해요. 넣는 양을 고정한 판의 범위는 0.69 에서 0.97 이고, 양을 지킨 판은 0.97 에서 0.98 이에요. 첫째 시드가 겹쳐요. 그래서 「넣는 양을 고정하면 속의 신호가 무너진다」라고 쓰지 않고, 「넣는 양을 고정한 판은 세 시드 가운데 둘에서 신호가 줄었고, 양을 지킨 판은 세 시드 모두 온전했다」라고 써요.
시드별 정답률은 lab_table.out 의 I15R 줄이다. 탐침은 어느 판이든 층 5 까지 0.69~0.70 으로 논리 글을 읽지 않은 판과 같고 층 6 에서 8 사이에 오르는데(inside_stop.out 1절), 오르는 층이 같은 판 안에서도 시드마다 달라서 어느 층이 상했는지는 가리지 못했다.
읽히는 것과 쓰는 것
탐침은 속에 무엇이 있는지를 읽고, 루나가 그것을 쓰는지는 따로 측정해야 한다. 같은 판단 자리 가운데 751 곳(멈출 자리 358, 이을 자리 393)에서 루나에게 한 문장을 이어 쓰게 하고, 그 문장이 끊김을 말하는지를 셌다.
| 판 | 멈출 자리에서 멈춤(적중률) | 이을 자리에서 멈춤(오경보율) | 변별력 d′ (시드별) |
|---|---|---|---|
| 기준 판 | 41% | 3% | 1.72 (1.27·1.76·2.12) |
| 깊은 끊김 4,300 편, 넣는 양 고정 | 65% | 18% | 1.39 (2.21·1.33·0.63) |
| 깊은 끊김 4,300 편, 프로그램 문항 양 지킴 | 83% | 6% | 2.50 (2.71·2.25·2.53) |
위 표는 판단 자리에서 이어 쓴 한 문장을 채점한 것이다(inside_stop.out 2절, 시드 셋의 평균). 오경보율의 시드별 값은 넣는 양을 고정한 판이 8·20·25%, 양을 지킨 판이 5·8·5% 다.

기준 판이 이상해. 탐침은 0.94 인데 멈출 자리에서 41% 만 멈춰. 알면서 안 멈춘 거야?

기준 판은 깊은 끊김 이야기를 한 편도 안 읽었어. 그런데도 조건이 어긋났다는 건 속에서 읽혀. 읽히는데 멈춤으로 꺼내 쓰지 않은 거야. 깊은 끊김 이야기가 가르친 건 조건이 어긋났는지 알아보는 일보다 알아본 것을 멈춤으로 쓰는 일이었어.

「데이터는 판단 기준을 옮겼다」와 맞는 관찰이에요. 재료는 기준 판에도 있었고, 이야기는 그 재료를 쓰는 기준을 옮겼어요. 넣는 양을 고정한 4,300 편 판은 기준만 옮겨 간 것이 아니라 두 시드에서 재료도 줄었어요.
양을 지킨 판은 세 시드 모두 탐침이 0.97 을 넘고, 판단 자리의 오경보율이 18% 에서 6% 로 내려갔다. 변별력의 범위는 1.39 (0.63~2.21) 대 2.50 (2.25~2.71) 으로 겨우 떨어져 있다.
프로그램 문항 쪽은 로짓 렌즈로 확인했다. 프로그램 문항의 풀이는 성질을 「so」로 잇다가 끝에서 마침표를 찍으므로, 성질이 끝난 자리에서 마침표와 「so」의 로짓 차이를 읽으면 된다. 조건이 어긋나 끝나는 자리 297 곳과 잇는 자리 2,816 곳을 가르는 AUC 는 마지막 층에서 기준 판 1.00, 양을 지킨 판 0.99 (0.99·0.99·0.99), 넣는 양을 고정한 판 0.96 (0.99·0.99·0.91) 이다(inside_stop.out 3-1절). 넣는 양을 고정한 판의 둘째 시드는 이야기 탐침이 0.85 로 내려갔는데 프로그램 문항에서는 0.99 로 온전하다. 프로그램 문항이 밀려났을 때 먼저 상한 것은 프로그램 문항의 풀이보다 그 계산을 이야기 글에서 쓰는 일이었다. 다만 이것은 시드 둘에서 본 것이다.
이 절의 측정에는 한계가 넷 있다. 시드가 셋뿐이고 넣는 양을 고정한 판은 시드 사이가 크게 벌어져, 탐침과 정답률의 대응은 점 세 개의 순서다. 탐침은 선형이고 마지막 토큰 한 자리만 읽었으므로, 덜 읽힌다는 것이 계산이 없다는 증명은 아니다. 값은 모두 정답 풀이를 넣어 준 자리에서 얻었고, 루나가 스스로 쓴 풀이의 자리는 읽지 않았다. 그리고 루나가 이을 자리에서 잘못 멈춘 곳의 57~64% 는 탐침이 「이을 자리」로 읽은 곳이어서(inside_stop.out 2-1절), 탐침이 읽는 값과 루나가 멈춤을 쓰는 일이 다 맞물려 있지는 않다.