루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까
루나의 속을 읽는다
하은의 물음이 남아 있었다. 곳마다, 물건마다의 경향만 알아도 얻는 점수가 있다면, 0.73 가운데 얼마가 두 사실을 이은 값인지 알 수 없다. 서연은 먼저 그 점수를 모델 없이 측정했다. 「볼 수 있나」 720 문항마다 물건이 무엇인지, 보는 곳이 어디인지, 낮인지 밤인지만 적은 표를 만들고, 이 표만으로 「보인다 / 안 보인다」를 맞히는 로지스틱 회귀를 학습용 조합 358 문항으로 학습해 시험용 조합 362 문항에 적용했다. 물건의 자리도 창도 표에는 없는 이 회귀를 겉 정보 기준이라고 부른다.
「볼 수 있나」 이야기 형식 전부: 학습용 조합 358 (보임 29), 시험용 조합 362 (보임 27) | 값 = 시드 평균 (시드별), AUC 0.5 = 우연
…
겉 정보 탐침의 시험용 조합 균형 정확도: M15R 0.69
위 출력은 sources/world-limits/inside_see.out 의 머리 줄과 2-1절 끝 줄이다.

두 사실을 하나도 잇지 않고 0.69 면, 묻고 답하기 판의 0.73 은 거의 다 경향으로 맞힌 거잖아요.

… 0.5 를 넘었다고 표에 적은 사람이 나야. 시험지를 만들 때 이 기준부터 측정했어야 했어.

아직 틀렸다고 정해진 건 아니잖아. 경향을 빼고 채점하면 돼. 같은 물건을 두 곳에서 묻는 거야. 한 곳에서는 보이고 다른 곳에서는 안 보이게. 물건이 같으니까 물건의 경향은 두 문항에 똑같이 들어가.
민준의 방법을 쌍 채점이라고 부른다. 시험용 조합에서 물건과 때가 같고 보는 곳만 다른 (보임, 안 보임) 쌍 209 개와, 보는 곳과 때가 같고 물건만 다른 쌍 232 개를 모아, 루나가 Yes 에 준 로짓에서 No 에 준 로짓을 뺀 값이 보이는 문항에서 더 큰 쌍의 비율을 센다. 답이 No 로 쏠려 있어도 영향을 받지 않고, 구분하지 못하면 0.5 가 된다.
| 판 | 같은 물건 쌍 | 같은 곳 쌍 |
|---|---|---|
| 겉 정보 기준(모델 없음) | 0.67 | 0.77 |
| 동네 글 없는 기준 판 | 0.56 | 0.57 |
| 사실만 판 | 0.59 | 0.58 |
| 묻고 답하기 판 | 0.80 (0.77·0.82·0.80) | 0.88 (0.84·0.93·0.86) |
위 표는 시험용 조합의 쌍 채점이다(inside_see.out 2-1절, 시드 셋의 평균, 괄호는 시드별). 겉 정보 기준이 0.5 가 아닌 것은 물건을 같게 맞춰도 보는 곳의 경향이, 곳을 같게 맞춰도 물건의 경향이 남기 때문이다.
묻고 답하기 판은 세 시드가 모두 겉 정보 기준 위에 있고 0.11~0.13 높다. 낱낱의 경향을 넘어서 두 사실을 잇지만, 1 에는 못 미치므로 일부만 잇는다고 적는 것이 정확하다. 사실만 판은 겉 정보 기준에도 못 미친다.

세 시드가 다 위에 있어. 잇긴 이어. 전부는 아니고.

거봐. 루나가 찍은 게 아니라니까.
층마다 읽는 탐침
사실만 판에 남은 물음이 하나 있다. 속에서 「보인다」를 계산해 놓고 Yes 로 꺼내지 못한 것일까, 계산 자체를 하지 않은 것일까. 층마다 무엇이 읽히는지를 볼 때 쓴 선형 탐침을 다시 꺼냈다. 문항의 마지막 토큰 자리에서 층마다 잔차 스트림을 꺼내고, 학습용 조합의 벡터로 「보인다 / 안 보인다」를 맞히는 탐침을 학습해 시험용 조합에서 AUC 를 구한다.


동네 글을 한 줄도 안 읽은 판에서 탐침이 0.81 이야? 그 판은 소파가 어디 있는지도 모르는데.

탐침을 쓸 때 늘 조심할 점이에요. 문항에 적힌 물건 이름과 곳 이름은 어느 판의 잔차 스트림에나 들어 있고, 탐침은 그 이름들의 경향을 스스로 배워요. 겉 정보 기준의 AUC 가 0.78 이니 0.81 은 거의 같은 값이에요. 그래서 이 그림은 높이가 아니라 판 사이의 차이로 읽어요.
사실만 판의 탐침은 가장 잘 읽히는 층에서 0.81 로, 동네 글을 읽지 않은 판과 같다. 사실만 판의 속에는 꺼내지 못한 계산 결과가 숨어 있지 않았다. 묻고 답하기 판은 층 4 까지 다른 판들과 같다가 층 5 에서 0.84 로 오르고 0.86 까지 간다(inside_see.out 1·2절).
그 방향이 답을 움직이는지도 확인했다. 학습용 조합에서 보이는 문항의 평균 벡터에서 안 보이는 문항의 평균 벡터를 뺀 방향을, 탐침이 가장 잘 읽는 층에 더한다. 묻고 답하기 판은 Yes 라고 답하는 비율이 5% 에서 한 배 더하면 68%, 두 배 더하면 100% 가 되고, 빼면 0% 가 된다(inside_see.out 3절). 사실만 판도 Yes 비율은 움직이지만 답의 AUC 는 0.57 에서 변하지 않아서, 모든 문항의 답이 함께 옮겨 갈 뿐이다. 이 개입만으로는 방향이 「보인다는 계산의 결과」인지 「답을 Yes 로 옮기는 방향」인지를 구분하지 못한다.

그러면 사실만 판은 아는 걸 못 꺼낸 게 아니었네요. 꺼낼 것이 없었어요. 저는 지금까지 루나가 속으로는 알면서 말을 못 하는 거라고 생각했어요.

그렇게 읽어요. 사실만 판에는 꺼내는 형식만 없던 것이 아니라 두 사실을 잇는 계산이 없었어요. 묻고 답하기가 그 계산을 일부 만들었고, 만들어진 계산은 뒤쪽 층에서 읽혀요.
이 절에서 좋아진 것은 판정의 근거다. 「볼 수 있나」의 기준을 0.5 에서 겉 정보 기준 0.69 로 바로잡았고, 쌍 채점으로 사실만 판은 잇지 않고(0.59 / 0.58) 묻고 답하기 판은 일부 잇는다(0.80 / 0.88)는 것을 확인했다.