멈추는 법: 모른다고 말하게 가르치면 무엇을 잃을까

혼동하기 쉬운 점과 요약

토론 1. 칸이 열리면 판단을 잘하게 된 것인가

민준은 깊은 끊김 칸이 19% 에서 77% 가 되었으니 루나가 멈출 줄 알게 되었다고 한다. 서연은 루나가 더 잘 판단하게 된 것은 아니라고 한다. 둘 가운데 누구 말이 이 장의 숫자와 맞을까?

김민준 M01
김민준

깊은 칸 문항은 다 cannot 이잖아. 19 가 77 이 됐으면 멈추는 걸 배운 거지.

이서연 S01
이서연

같은 판이 yes·no 문항에서도 16% 를 멈췄어. 변별력은 1.97 로 기준 판 범위 안이고. 기준을 옮긴 거야.

장하은 H01
장하은

그래도 스텝 두 배 판은 깊은 칸 75% 에 전체 80% 잖아요. 그건 그냥 기준만 옮긴 거라고 하기엔 많이 좋아졌어요.

선생님 T01
선생님

셋 다 숫자의 한 부분을 말하고 있어요. 깊은 칸은 열렸고, 이야기 글 안의 멈춤은 실제로 늘었어요. 스텝을 주면 전체를 잃지 않고 그 이득을 가질 수 있어요. 다만 변별력은 기준 판의 범위를 넘지 않았으니, 「더 잘 판단하게 되었다」고 말하려면 적중률과 오경보율을 함께 보여야 해요. 한 칸의 정답률만 보고 능력이 늘었다고 하면, 기준을 옮긴 것과 변별력이 오른 것을 구분할 수 없어요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 곳 바로잡는 법
깊은 칸이 낮은 것은 긴 체인을 못 따라가서라고 봄 틀린 답을 읽는다 정답 풀이를 끊기는 곳 앞까지 붙여 줘도 cannot 은 22~45% 였다. 가장 많은 오답은 끊기는 곳까지 맞게 와서 조건이 맞지 않는 규칙을 그대로 쓴 것(38%)이다
cannot 이야기를 더 넣으면 cannot 이 오른다고 봄 문제 1 첫 홉에서 끊기는 cannot 1,000 편은 깊은 칸을 바꾸지 않았다(19 → 16%). 오른 것은 이어 간 뒤 끊기는 이야기를 넣은 판뿐이다
많이 넣다가 무너지면 그 데이터의 한계라고 봄 이은 뒤 끊기는 이야기 딥시크 깊은 끊김 4,300 편 판의 붕괴(yes·no 63%)는 넣는 양을 15% 로 고정해 프로그램 문항이 밀려난 탓이었다. 프로그램 문항의 양을 지키자 같은 4,300 편이 깊은 칸 76%, 전체 79% 를 냈다
오른 칸의 정답률이 곧 능력이라고 봄 열린 칸의 대가 적중률과 오경보율이 함께 올랐고 변별력은 기준 판 범위 안이었다. 정답률 하나로는 판단 기준을 옮긴 것과 변별력이 오른 것을 구분할 수 없다
모델을 키우면 맞바꿈이 사라진다고 봄 대가는 어디에서 오나 87M 은 평균 변별력이 2.51 로 가장 높았지만 시드 범위가 26M 기준 판과 겹쳤고, 같은 변형 이야기를 넣으면 yes·no 가 89% 에서 80% 로 내려가 전체는 83% 에 머물렀다
탐침이 높으면 루나가 그 판단을 쓴다고 봄 무너진 판의 속을 읽는다 기준 판은 탐침이 0.94 인데 멈출 자리에서 41% 만 멈췄다. 읽히는 것과 쓰는 것은 따로 측정한다

요약

한계 지도에서 끝까지 오르지 않은 칸은 두 홉 이상 이은 뒤 멈춰야 하는 cannot 이었다. 깊은 끊김 시험지 350 문항에서 기준 판의 풀이를 모두 읽자, 가장 많은 오답은 끊기는 곳까지 맞게 와서 조건이 맞지 않는 규칙을 그대로 쓰고 지나친 것이었다. 막는 것은 체인을 따라가는 일보다 멈추는 판단이었다.

막힌 칸은 이어 간 뒤 끊기는 이야기를 넣어야 열렸다. 딥시크가 쓴 깊은 끊김 이야기는 3,000 편에 69% 까지 올랐고, 이미 있는 yes·no 이야기에서 규칙 하나의 조건만 부정으로 변경해 만든 변형 이야기는 딥시크 없이 3,000 편에 77% 를 냈다.

대가는 yes·no 였다. 신호 탐지 이론의 두 숫자로 나눠 보면 적중률과 오경보율이 함께 올랐고 변별력은 기준 판의 범위 안이어서, 데이터는 판단 기준을 옮긴 것이다. 스텝을 두 배로 주면 덜 익어서 생긴 손실이 돌아와, 변형 이야기 3,000 편 판이 깊은 칸 75%, 전체 80% 가 되었다. 기준 판(19%, 79%)보다 깊은 칸과 전체는 올랐고 yes·no 는 5%p 잃었다. 프로그램 문항의 양을 지키면 이야기 없는 규칙 문항이 돌아왔지만 이야기 쪽 yes·no 는 돌아오지 않았다. 87M 은 평균 변별력이 가장 높았지만 시드 범위가 26M 기준 판과 겹쳤고, 이 장에서 판정 규칙을 넘겨 변별력을 올린 조건은 없었다. 장 머리의 두 조건(멈출 곳에서 멈추고, 아는 것은 그대로 안다고 하기)을 함께 채운 판은 87M 에서 프로그램 문항 양까지 지킨 판이다(깊은 칸 82%, yes·no 84%, 전체 85%).

넣는 양을 고정해 무너진 4,300 편 판의 속을 탐침으로 읽으면, 세 시드 가운데 둘에서 풀이의 판단 자리에 「멈출 자리 / 이을 자리」가 덜 읽혔고(0.97·0.85·0.69), 프로그램 문항 양을 지킨 판은 세 시드 모두 0.97 을 넘었다. 첫째 시드가 겹치므로 판정은 「겹침」이다. 배운 글 모양 밖의 칸(균형 묶음의 cannot, 역·이 물음)은 어떤 조건으로도 열리지 않았다.

루나 설정서 점검

새 설정서의 줄 이번에 남은 것
1. 다섯 살처럼 말하고 생각한다 이야기 글의 규칙 체인을 떼어 둔 1,511 문항에서 85% 푼다. 멈추는 이유를 「The rule about this needs …, but we have ….」로 직접 쓴다 다섯 살 시험지의 역·이 물음은 어느 판에서도 0%
6. 모르면 모른다고 한다 규칙을 둘, 셋 이은 뒤 어긋나는 cannot 이 19% 에서 82% 로, yes·no 는 84% 그대로(변형 이야기 3,000 편, 프로그램 문항 양 지킴, 87M) yes·no 문항의 9% 에도 모른다고 한다(기준 판 4%, 시드 범위는 겹침). 겉 단서를 걷어 낸 균형 묶음의 cannot 은 31%

막힌 곳

루나는 규칙을 이어 가다가도 조건이 맞지 않는 곳에서 멈추게 되었고, 그 값으로 아는 문항의 9% 에 모른다고 한다. 이 장의 실험으로 말하지 못한 것은 넷이다.