열린 칸의 대가
깊은 칸이 열린 루나는 멈출 곳을 알아보게 된 것일까. 변형 3,000 편 판이 잃은 것도 같은 표에 있다. yes·no 정답률은 84% 에서 74% 로 내려갔고, 답이 yes 나 no 인 문항에 cannot 이라고 한 비율은 4% 에서 16% 로 올랐다. 떼어 둔 이야기 전체는 77% 로 기준 판(79%)과 거의 같으니, cannot 에서 얻은 만큼 yes·no 에서 잃은 것이다. 아래는 그 판이 멈추지 말아야 할 곳에서 멈춘 풀이다(runs_bridge/story_Y15R_s1_held2.json, cs00005, 정답 yes).
문항: In the garden Sam saw that the desk is weak. He asked, "Is it true that the paper is asleep?" The old book said, "The pillow is thin when the desk is weak." It also said, "Whenever the pillow is thin, the box is busy." Then it said, "The paper is asleep if the box is busy." …
기준 판: Ben said, "I see the desk is weak, so the pillow is thin. Then the box is busy, so the paper is asleep. That means the answer to the question is yes." Ben says yes.
변형 3,000 편 판: Ben said, "I think the desk is weak, so the pillow is thin. Then the box is not busy. Here it breaks. The only rule about this needs the box is busy, but we have the box is not busy. No rule tells about that case, so we cannot tell." Ben says we cannot tell.

방금 멈췄다고 좋아했는데. 기준 판은 잘 풀던 문항이잖아. 아는 것까지 모른다고 하면 그건 멈출 줄 아는 게 아니야.

둘째 홉에서 「the box is not busy」라고 잘못 이었어. 그러고 나서 멈추는 문장은 아주 잘 썼고. 멈추는 말투를 배운 만큼, 멈출 이유를 지어내기까지 하는 거야.
답의 비율을 맞추는 것은 해법이 되지 못했다. 깊은 끊김 이야기 1,000 편과 함께 yes·no 이야기 2,000 편을 넣어 세 답을 고르게 맞춘 판은 yes·no 가 76% 에 머물렀고 깊은 칸의 이득만 27% 로 줄었다(lab_table.out 의 B15R).

소크라테스가 법정에서 한 말이 있어요. 자기가 모르는 것을 안다고 생각하지 않는다는 그 한 가지에서 남보다 조금 더 지혜로운 것 같다고요(플라톤, 『소크라테스의 변론』). 그런데 그 말은 「무엇이든 모른다고 하라」는 뜻이 아니에요. 아는 것은 안다고 하고, 모르는 것만 모른다고 해야 지혜로운 거죠. 지금 루나는 모른다고 하는 횟수만 늘었어요.

그 두 가지를 숫자 하나로 섞으면 안 되겠다. 두 숫자로 나눠 보자. cannot 문항에서 cannot 이라고 한 비율을 적중률, yes·no 문항에서 cannot 이라고 한 비율을 오경보율이라고 하면, 루나는 매번 「멈출까 말까」를 판단하는 탐지기야.
이 두 숫자는 1950 년대에 레이더 화면에서 신호와 노이즈를 구분하는 일을 연구하던 사람들이 정리한 신호 탐지 이론(signal detection theory)의 말이다. 윌슨 태너(Wilson Tanner)와 존 스웨츠(John Swets)가 1954 년 사람의 시각 탐지를 이 틀로 다루었고, 데이비드 그린(David Green)과 스웨츠의 1966 년 책이 심리학의 표준 도구로 만들었다. 이론의 요점은 탐지기의 성적을 두 가지로 나누는 것이다. 하나는 신호와 노이즈를 얼마나 잘 구분하는가를 나타내는 변별력 d′ 이고, 다른 하나는 애매할 때 어느 답을 더 쉽게 내는가를 나타내는 판단 기준 c 다. 적중률과 오경보율을 각각 표준 정규 분포의 z 점수로 바꾸면, d′ 는 두 z 점수의 차이이고 c 는 두 z 점수 합의 절반에 마이너스를 붙인 값이다. 판단 기준만 옮기면 적중률과 오경보율이 함께 오르고 d′ 는 변하지 않으며, 변별력이 오르면 적중률은 오르고 오경보율은 그대로이거나 내려간다.

기준 판의 변별력은 2.21(시드별 1.85~2.52), 판단 기준은 0.61 이다. 변형 3,000 편 판은 적중률이 69% 에서 83% 로, 오경보율이 4% 에서 16% 로 함께 올랐고, 판단 기준은 0.04 로 내려갔지만 변별력은 1.97 로 기준 판의 시드 범위 안이었다(logic_stop.out).

그러니까 루나가 더 잘 가려내게 된 게 아니라, 애매하면 멈추도록 기준을 옮긴 거구나. 깊은 칸 숫자만 보고 있었으면 끝까지 몰랐겠다.

그 구분이 이 장에서 제일 중요해요. 확신이 없으면 답을 내지 않는 분류기를 거부 옵션(reject option)이라고 하는데, C. K. 차우(C. K. Chow)가 1970 년에 틀리는 비율과 답을 미루는 비율 사이의 상충을 따로 다뤘어요. 큰 언어 모델에게 「모르겠다」를 가르칠 때도 모른다고 하는 비율만 올리면 아는 문제까지 모른다고 하니까, 적중률과 오경보율을 따로 봐야 하죠.
이 절에서 좋아진 것은 측정의 도구다. 「칸이 열렸다」를 변별력과 판단 기준으로 나눠 읽게 되었고, 지금까지의 데이터는 판단 기준을 옮겼을 뿐 변별력은 올리지 못했다는 것을 확인했다.