루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까
혼동하기 쉬운 점과 요약
토론 1. 사실을 다 읽혔는데 왜 잇지 못하나
민준은 사실만 판이 「소파는 거실에 있다」와 「부엌에서 거실이 보인다」를 둘 다 알면서 「부엌에서 소파가 보이나」를 못 맞힌 것이 이상하다고 한다. 사람은 두 문장을 들으면 바로 답하는데, 루나가 못 이은 것은 머리가 모자라서일까?

87M 으로 키웠으면 사실만 읽혀도 이었을 거 같은데. 논리도 큰 모델이 잘했잖아.

사실만 판을 87M 으로 학습한 적은 없어요. 측정한 건 반대예요. 물음을 가르친 87M 도 대화 형식의 「볼 수 있나」는 글을 고치기 전까지 0.55 였어요.

나는 글이 먼저라고 봐. 사실만 판은 사실을 문항에 다 적어 줘도 0.53 이었고, 속을 탐침으로 읽어도 동네 글을 안 읽은 판과 같았어. 꺼내지 못한 것이 아니라 「보이나」에 답하는 글을 본 적이 없어서 잇는 계산이 생기지 않은 거야.

세 가지를 나눠서 말해야 해요. 사실을 가중치에 넣는 일은 글을 읽히면 돼요. 그 사실을 물음의 답으로 꺼내는 일은 물음의 형식을 학습에서 보아야 하고, 「어디 있나」가 0.27 에서 0.87 이 된 것이 그 증거예요. 사실 둘을 이어 처음 보는 조합에 답하는 일은 일부만 돼요. 시험지 점수 0.73 으로는 판정할 수 없었고, 쌍 채점에서 묻고 답하기 판이 0.80 / 0.88 로 겉 정보 기준 0.67 / 0.77 을 넘은 것이 근거예요. 사람이 두 문장을 듣고 바로 답하는 것은 「보이나」 같은 물음에 답해 본 경험이 이미 많아서예요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 곳 | 바로잡는 법 |
|---|---|---|
| 사실을 다 읽히면 그 사실로 답할 수 있는 물음은 다 풀린다고 봄 | 문제 1, 루나의 속을 읽는다 | 사실만 판의 「볼 수 있나」는 0.48 / 0.52 였고, 쌍 채점 0.59 / 0.58 은 겉 정보 기준 0.67 / 0.77 에도 못 미쳤다. 탐침도 동네 글을 읽지 않은 판과 같았다 |
| 0.5 를 넘으면 두 사실을 이은 것이라고 봄 | 루나의 속을 읽는다 | 물건·곳·때의 경향만 쓰는 회귀가 모델 없이 0.69 를 얻는다. 경향을 뺀 쌍 채점 0.80 / 0.88 로 「일부 잇는다」고 판정했다 |
| 탐침의 점수가 높으면 모델이 그 정보를 계산한 것이라고 봄 | 루나의 속을 읽는다 | 동네 글을 한 줄도 읽지 않은 판의 탐침이 AUC 0.81 이었다. 판 사이의 차이로 읽어야 한다 |
| 논리 연습을 한 모델은 다른 영역의 잇기도 더 잘한다고 봄 | 문제 2 | 논리 글을 뺀 26M 판은 논리 시험이 0.17 인데 동네 칸은 논리 있는 판과 시드 범위가 겹쳤다. 이 크기와 이 글에서만 측정한 결과다 |
| 따로 물으면 아는 것은 다른 물음 안에서도 꺼내 쓴다고 봄 | 논리와 동네를 함께 써야 하는 문항 | 따로 묻는 「볼 수 있나」는 묻고 답하기 판이 0.65~0.68, 사실만 판이 0.51~0.57 이었지만, 함께 쓰는 문항 안의 보이나 판단은 두 판의 시드 범위가 겹쳤다. 풀이 글이 적을 때 규칙 잇기를 앞당긴 것은 같은 글틀의 논리 글이었다 |
| 정답률이 낮으면 지식이 없는 것이라고 봄 | 문제 3 | 「어디 있나」 0.27 은 이야기 형식에서 곳으로 답하는 글이 없어서였다. 답의 형식과 딥시크 대화를 함께 넣자 0.87 이 되었다 |
| 「모른다」를 잘 맞히면 모르는 것을 아는 것이라고 봄 | 문제 4 | 적중률 0.97 에 오경보율 0.77 이었다. 같은 글틀에서 아는 장면과 모르는 장면을 절반씩 넣자 오경보율이 0.00 이 되었다 |
| 막힌 칸은 모델을 키우면 열린다고 봄 | 아직 막힌 칸과 모델 크기, 막힌 칸을 하나씩 연다 | 87M 은 막힌 칸을 열지 못했고, 학습 글의 조건 하나씩을 바꾸자 26M 에서 열렸다. 세 조건을 함께 넣은 87M 판은 0.77 / 0.71, 0.90 / 0.81, 쓰고 답 0.71 / 0.67 이었다 |
| 풀이는 답의 앞에 적든 뒤에 적든 같다고 봄 | 문제 5 | 수를 먼저 말하게 배운 판은 경로를 97% 맞게 적고도 수는 29% 만 맞혔다. 경로를 먼저 적게 하자 70% 가 되었다 |
요약
루나의 집과 동네를 곳 19 군데, 문·계단·길 18 개, 창 35 개의 그래프로 정하고, 모든 물음의 정답을 프로그램이 계산하게 했다. 시험지 2,179 문항은 학습 글보다 먼저 고정했고, 이어야 하는 물음은 학습에 쓰지 않은 조합으로만 냈다.
사실을 한 편에 하나씩 읽힌 사실만 판은 「어디 있나」만 올랐다. 이어야 하는 물음을 학습용 조합의 묻고 답하기로 보여 주자 「볼 수 있나」가 0.73 / 0.61 이 되었는데, 물건·곳·때의 경향만으로도 0.69 를 얻으므로 이 점수로는 이었다고 할 수 없었다. 경향을 뺀 쌍 채점과 층별 탐침으로 확인한 것은, 사실만 판에는 잇는 계산이 없었고 묻고 답하기 판은 일부 잇는다는 것이다(0.59 / 0.58 대 0.80 / 0.88). 그 잇기에 규칙 체인의 논리 연습이 쓰였다는 근거는 없었고, 논리 글을 뺀 26M 판도 동네 칸은 시드 범위가 겹쳤다. 두 재료를 한 문항에서 함께 써야 할 때는 그 문항의 풀이 글이 있어야 풀렸다. 풀이 글이 적을 때 논리 글은 규칙 잇기를 앞당겼지만(2,000 편에서 0.99·0.98 대 0.54·0.55), 동네 묻고 답하기는 문항 안의 보이나 판단을 앞당기지 않았다.
시험이 묻는 형식으로 답을 쓰게 하자 「어디 있나」가 0.87 / 0.98 이 되었다. 「모른다」는 두 번 판단 기준만 옮겨 다니다가, 같은 글틀에서 아는 장면과 모르는 장면을 절반씩 보여 준 대조 쌍 판에서 구분이 생겼다(아는 장면 0.98 / 0.99, 오경보율 0.00, 적중률 0.62 / 0.54).
「볼 수 있나」의 대화 형식, 동네에 없는 물건, 홉 카운트는 87M 으로 키워도 열리지 않았고, 학습 글의 조건을 하나씩 바꾸자 26M 에서 움직였다. 보이는 곳과 안 보이는 곳의 대조 쌍, 없는 물건 이름 72 가지, 경로를 먼저 적고 수를 끝에 말하는 답이다. 세 조건을 함께 넣은 87M 판은 「볼 수 있나」 0.77 / 0.71, 없는 물건 0.90 / 0.81, 홉 카운트 쓰고 답 0.71 / 0.67 이었다. 다음 장의 마음 글까지 더한 마지막 루나는 0.82 / 0.69, 0.88 / 0.83, 0.71 / 0.73 이고, 모를 때 「모른다」의 대화 형식 0.58, 논리 변별력의 평균 2.20, 사실을 준 이야기의 길의 첫 곳 0.76 이 치른 값으로 남았다.
루나 설정서 점검
| 새 설정서의 줄 | 이번에(마지막 87M 판) | 남은 것 |
|---|---|---|
| 1. 다섯 살처럼 말하고 생각한다 | 자기 집과 동네를 안다. 물건의 자리 0.97 / 1.00, 길의 첫 곳 0.85 / 0.91, 처음 보는 조합의 「볼 수 있나」 0.82 / 0.69(쌍 채점 0.85 / 0.89), 홉 카운트 쓰고 답 0.71 / 0.73 | 홉 6 이상의 홉 카운트 0.39, 「볼 수 있나」 대화 형식 0.69, 사실을 준 이야기의 길의 첫 곳 0.76, 퀴즈 형식 |
| 5. 가족을 사랑한다 | 가족이 어디로 갔는지 들었거나 창으로 본 장면에서 그곳을 0.94 / 1.00 댄다. 가족이 보이는지는 0.81 / 0.76 | 가족이 어디 있는지 알 때와 모를 때의 마음은 이 장에서 읽지 않았다 |
| 6. 모르면 모른다고 한다 | 아는 장면에서 모른다고 하지 않는다. 동네에 없는 물건에 0.88 / 0.83 모른다고 한다 | 모르는 장면에서 모른다고 하는 비율 0.78 / 0.58 로 대화 형식이 기준 아래 |
막힌 곳
이 장에서 열지 못했거나 측정하지 않은 것을 한 줄씩 적어 둔다.
- 모를 때 「모른다」, 대화 형식. 마지막 87M 판에서 0.58(시드별 0.60·0.55·0.59)로 기준 0.7 아래다.
- 논리 시험의 변별력. 87M 에서 글 묶음을 더할 때마다 평균이 2.50, 2.16, 2.25, 2.32, 2.20 이었고, 마지막 판은 세 시드 가운데 하나만 87M 기준 판의 범위 안이다.
- 먼 목적지와 가까운 목적지. 홉 카운트는 경로를 먼저 적게 해도 홉 6 이상이 26M 0.35, 87M 마지막 판 0.39 다. 길의 첫 곳에서 두 홉 떨어진 목적지는 조건을 따로 넣지 않았고, 마지막 판에서 0.69 / 0.72(13 문항)다. 사실을 준 이야기의 길의 첫 곳은 마음 글을 더하자 0.81 에서 0.76 으로 내려갔는데 원인은 측정하지 않았다.
- 논리 연습과 동네. 차이가 없다는 판정은 26M, 이 규칙 체인 글, 이 동네에서만 측정한 것이다.
- 함께 쓰는 문항 안의 보이나 판단. 묻고 답하기로 배운 「보인다」가 함께 쓰는 문항 안으로 옮겨 가지 않은 원인(형식이 달라서인지)은 측정하지 않았다. 동네와 논리를 따로 배운 판은 그대로 물으면 하나도 풀지 못했고(0.45 이하), 풀이 글의 양에 따른 판정은 26M, 500·2,000 편에서만 했다.
- 퀴즈 형식. 학습에 쓰지 않은 형식에서는 마지막 판도 「볼 수 있나」가 0.52, 모르는 장면의 「모른다」가 0.10 이다.
- 탐침이 읽는 것. 묻고 답하기 판의 층 5 부터 생기는 차이가 물건의 자리와 창을 어떻게 이은 것인지, 곳과 곳의 관계가 층 안에 어떤 모양으로 들어 있는지는 읽지 못했다.