멈추는 법: 모른다고 말하게 가르치면 무엇을 잃을까

대가는 어디에서 오나: 스텝, 데이터 믹스, 모델 크기

문제 2. 대가는 어디에서 오는가

변형 이야기 3,000 편을 섞은 루나는 cannot 을 83% 맞히지만 yes·no 에서 10%p 를 잃었다. 원인의 후보는 셋이다. (가) 데이터 믹스: 넣는 양이 15% 로 정해져 있어서 이야기가 다른 문항의 자리를 가져간다. (나) 모델 크기: 26M 파라미터로는 두 가지를 함께 익히기에 모자란다. (다) 학습 스텝: 14,000 스텝으로는 새로 넣은 이야기를 다 익히지 못했다.

한 번에 한 조건만 바꾼다. 같은 데이터로 스텝만 두 배, 프로그램 문항의 양만 기준 판과 같게, 모델만 3.3 배(87M). 셋 가운데 무엇이 yes·no 를 되찾고, 무엇이 변별력을 올릴까?

김민준 M01
김민준

(다) 에 걸게. 이야기 3,000 편을 여덟 번씩 넣었는데 스텝은 그대로잖아. 두 배로 하면 둘 다 익히겠지.

이서연 S01
이서연

스텝은 이미 연 칸을 익히는 데만 쓰일 것 같아. 기준 판에 스텝만 주면 깊은 칸은 안 오를 거고.

장하은 H01
장하은

변별력이 그대로였잖아요. 변별력을 올리는 조건이 진짜 원인이고, 판단 기준만 바꾸는 조건은 얻는 것과 잃는 것을 맞바꿀 뿐일 거예요.

스텝, 데이터 믹스, 모델 크기를 바꾼 판 열셋의 일곱 칸. 점선은 기준 판의 값이다. 회색은 기준 판, 주황 네모는 변형 이야기, 파란 마름모는 프로그램 문항 양을 지킨 판, 보라 세모는 딥시크 깊은 끊김 4,300 편, 초록 원은 87M 판이고, 속이 빈 표지는 스텝 두 배 판이다. 큰 표지는 시드 평균, 옅은 표지는 시드 하나하나다(sources/logic-limits/plot_stop_tables.py)
스텝, 데이터 믹스, 모델 크기를 바꾼 판 열셋의 일곱 칸. 점선은 기준 판의 값이다. 회색은 기준 판, 주황 네모는 변형 이야기, 파란 마름모는 프로그램 문항 양을 지킨 판, 보라 세모는 딥시크 깊은 끊김 4,300 편, 초록 원은 87M 판이고, 속이 빈 표지는 스텝 두 배 판이다. 큰 표지는 시드 평균, 옅은 표지는 시드 하나하나다(sources/logic-limits/plot_stop_tables.py)
판 깊은 끊김, 두 홉 이상 전체 yes·no 적중률 오경보율 변별력 d′ 이야기 없는 규칙 문항
기준 판 19 79 84 69 4 2.21 76
기준 판, 스텝 두 배 19 82 88 69 5 2.21 82
변형 이야기 1,000 편 47 74 74 73 14 1.74 68
변형 이야기 1,000 편, 스텝 두 배 57 81 81 82 9 2.25 80
변형 이야기 3,000 편 77 77 74 83 16 1.97 60
변형 이야기 3,000 편, 스텝 두 배 75 80 79 83 13 2.11 77
변형 이야기 3,000 편, 프로그램 문항 양 지킴 76 78 74 85 14 2.14 72
변형 이야기 3,000 편, 프로그램 문항 양 지킴, 스텝 두 배 78 83 81 85 10 2.33 74
딥시크 깊은 끊김 4,300 편 67 67 63 74 24 1.36 64
딥시크 깊은 끊김 4,300 편, 프로그램 문항 양 지킴 76 79 76 83 12 2.12 65
87M 기준 판 19 83 89 72 3 2.51 90
87M, 변형 이야기 3,000 편 80 83 80 89 11 2.43 82
87M, 변형 이야기 3,000 편, 프로그램 문항 양 지킴(시드 여섯) 82 85 84 89 9 2.59 87

위 표는 스텝, 데이터 믹스, 모델 크기를 바꾼 판들이다(logic_stop.out, 이야기 없는 규칙 문항은 lab_table.out 의 처음 보는 성질 홉 4, 시드 셋의 평균, 기준 판·기준 판 스텝 두 배·「프로그램 문항 양 지킴, 스텝 두 배」는 시드 여섯, 변별력 말고는 %). 깊은 끊김은 깊은 끊김 시험지 223 문항, 나머지 이야기 칸은 떼어 둔 이야기 1,511 문항이다.

스텝. 스텝은 혼자서는 칸을 열지 못해서, 기준 판에 스텝만 두 배로 주면 깊은 칸은 19% 에 머문다. 데이터가 연 칸 위에서는 달랐다. 변형 1,000 편 판에 스텝을 두 배로 주자 yes·no 가 74% 에서 81% 로 돌아왔고 오경보율은 14% 에서 9% 로 내려갔다. 전체 81% 는 적중률을 69% 에서 82% 로 올리고도 기준 판보다 낮지 않은 첫 결과다. 변별력은 1.74 에서 2.25 가 되었는데, 14,000 스텝 쪽의 1.74 는 시드 하나(1.12)가 끌어내린 평균이다. 변형 3,000 편 판도 스텝 두 배에서 깊은 칸 75% 를 지킨 채 전체 80% 가 되었다.

데이터 믹스. 프로그램 문항을 기준 판과 같은 양으로 지키자 변형 3,000 편 판의 이야기 없는 규칙 문항이 60% 에서 72% 로 돌아왔고 딥시크 4,300 편 판의 붕괴도 사라졌다(전체 67% 에서 79%). 변형 3,000 편 판의 yes·no 는 74% 에서 달라지지 않았으므로, 믹스는 프로그램 문항 쪽 손실을 설명하고 이야기 쪽 손실은 설명하지 못한다.

모델 크기. 87M 기준 판은 깊은 칸이 26M 과 같은 19% 이고, 평균으로는 전체 83%, yes·no 89%, 변별력 2.51 로 26M 기준 판보다 높다. 다만 시드 셋의 변별력 범위(2.35~2.62)가 26M 기준 판의 범위(1.85~2.52)와 겹쳐서, 크기가 변별력을 올렸다고 판정하지는 못한다. 여기에 변형 이야기 3,000 편을 넣으면 깊은 칸이 80% 로 열리는 대신 yes·no 가 89% 에서 80% 로, 오경보율이 3% 에서 11% 로 바뀌고 전체는 83% 에 머문다.

둘을 함께. 26M 에서 프로그램 문항 양을 지키고 스텝을 두 배로 준 판은 전체 83%, 변별력 2.33 이었지만 같은 스텝의 기준 판(2.21, 시드 여섯 1.97~2.38)과 범위가 겹쳤다. 87M 에서 프로그램 문항 양을 지킨 판은 시드 여섯으로 측정해 깊은 칸 82%, 전체 85% 로 이 장의 판 가운데 가장 높았고, yes·no 는 87M 기준 판보다 5%p 만 잃었다(양을 지키지 않은 87M 판은 9%p). 변별력 평균 2.59 도 가장 높았지만 시드 여섯 가운데 셋(2.36, 2.33, 2.43)이 87M 기준 판의 범위 안이거나 그 아래여서 판정은 「겹침」이다.

선생님 T13
선생님

그래서 전체가 26M 에서는 80% 안팎, 87M 에서는 83% 에 묶여 있던 거예요. 변별력이 같으면 기준을 cannot 쪽으로 옮긴 만큼 깊은 칸을 얻고 yes·no 를 잃어요. 맞바꿈 자체를 줄이는 것은 변별력인데, 이 장에서 판정 규칙을 넘겨 변별력을 올린 조건은 없었어요. 87M 이 평균으로는 가장 높았으니 시드를 늘려 다시 판정해야 해요.

문제 2 의 세 후보는 일부씩 맞았다. (다) 스텝은 덜 익어 생긴 손실을 갚고, (가) 믹스는 프로그램 문항 쪽 손실과 4,300 편 판의 붕괴를 설명하고, (나) 크기는 평균 수위를 올렸지만 범위가 겹쳤다. 26M 판의 변별력은 2.11~2.33 까지 돌아왔어도 기준 판의 시드 범위 1.85~2.52 를 넘지 못했다. 이야기 쪽 yes·no 를 cannot 과 맞바꾸는 일은 세 조건 어느 것으로도 사라지지 않았고, 87M 에서 믹스를 함께 지킨 판이 그 손실을 9%p 에서 5%p 로 줄였다.

김민준 M12
김민준

스텝에 걸었는데 절반만 맞았네. 잃은 걸 되찾아 주기는 해도 더 잘 가려내게 해 주지는 않았어.

이서연 S01
이서연

그래도 전체를 잃지 않고 깊은 칸을 여는 판은 생겼어. 변형 3,000 편에 스텝 두 배면 깊은 칸 75% 에 전체 80% 야.

김민준 M05
김민준

하나는 그냥 넘어가기 싫어. 같은 딥시크 4,300 편인데 넣는 양을 고정하면 무너지고 프로그램 문항 양을 지키면 살았잖아. 데이터 말고 루나 안에서는 뭐가 달랐을까?

선생님 T14
선생님

좋은 물음이에요. 두 판의 체크포인트가 시드마다 남아 있으니 새로 학습하지 않고도 층마다 무엇이 읽히는지 볼 때 쓴 탐침으로 들여다볼 수 있어요.