루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까

혼동하기 쉬운 점과 요약

토론 1. 사실을 다 읽혔는데 왜 잇지 못하나

민준은 사실만 판이 「소파는 거실에 있다」와 「부엌에서 거실이 보인다」를 둘 다 알면서 「부엌에서 소파가 보이나」를 못 맞힌 것이 이상하다고 한다. 사람은 두 문장을 들으면 바로 답하는데, 루나가 못 이은 것은 머리가 모자라서일까?

김민준 M01
김민준

87M 으로 키웠으면 사실만 읽혀도 이었을 거 같은데. 논리도 큰 모델이 잘했잖아.

장하은 H01
장하은

사실만 판을 87M 으로 학습한 적은 없어요. 측정한 건 반대예요. 물음을 가르친 87M 도 대화 형식의 「볼 수 있나」는 글을 고치기 전까지 0.55 였어요.

이서연 S01
이서연

나는 글이 먼저라고 봐. 사실만 판은 사실을 문항에 다 적어 줘도 0.53 이었고, 속을 탐침으로 읽어도 동네 글을 안 읽은 판과 같았어. 꺼내지 못한 것이 아니라 「보이나」에 답하는 글을 본 적이 없어서 잇는 계산이 생기지 않은 거야.

선생님 T01
선생님

세 가지를 나눠서 말해야 해요. 사실을 가중치에 넣는 일은 글을 읽히면 돼요. 그 사실을 물음의 답으로 꺼내는 일은 물음의 형식을 학습에서 보아야 하고, 「어디 있나」가 0.27 에서 0.87 이 된 것이 그 증거예요. 사실 둘을 이어 처음 보는 조합에 답하는 일은 일부만 돼요. 시험지 점수 0.73 으로는 판정할 수 없었고, 쌍 채점에서 묻고 답하기 판이 0.80 / 0.88 로 겉 정보 기준 0.67 / 0.77 을 넘은 것이 근거예요. 사람이 두 문장을 듣고 바로 답하는 것은 「보이나」 같은 물음에 답해 본 경험이 이미 많아서예요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 곳 바로잡는 법
사실을 다 읽히면 그 사실로 답할 수 있는 물음은 다 풀린다고 봄 문제 1, 루나의 속을 읽는다 사실만 판의 「볼 수 있나」는 0.48 / 0.52 였고, 쌍 채점 0.59 / 0.58 은 겉 정보 기준 0.67 / 0.77 에도 못 미쳤다. 탐침도 동네 글을 읽지 않은 판과 같았다
0.5 를 넘으면 두 사실을 이은 것이라고 봄 루나의 속을 읽는다 물건·곳·때의 경향만 쓰는 회귀가 모델 없이 0.69 를 얻는다. 경향을 뺀 쌍 채점 0.80 / 0.88 로 「일부 잇는다」고 판정했다
탐침의 점수가 높으면 모델이 그 정보를 계산한 것이라고 봄 루나의 속을 읽는다 동네 글을 한 줄도 읽지 않은 판의 탐침이 AUC 0.81 이었다. 판 사이의 차이로 읽어야 한다
논리 연습을 한 모델은 다른 영역의 잇기도 더 잘한다고 봄 문제 2 논리 글을 뺀 26M 판은 논리 시험이 0.17 인데 동네 칸은 논리 있는 판과 시드 범위가 겹쳤다. 이 크기와 이 글에서만 측정한 결과다
따로 물으면 아는 것은 다른 물음 안에서도 꺼내 쓴다고 봄 논리와 동네를 함께 써야 하는 문항 따로 묻는 「볼 수 있나」는 묻고 답하기 판이 0.65~0.68, 사실만 판이 0.51~0.57 이었지만, 함께 쓰는 문항 안의 보이나 판단은 두 판의 시드 범위가 겹쳤다. 풀이 글이 적을 때 규칙 잇기를 앞당긴 것은 같은 글틀의 논리 글이었다
정답률이 낮으면 지식이 없는 것이라고 봄 문제 3 「어디 있나」 0.27 은 이야기 형식에서 곳으로 답하는 글이 없어서였다. 답의 형식과 딥시크 대화를 함께 넣자 0.87 이 되었다
「모른다」를 잘 맞히면 모르는 것을 아는 것이라고 봄 문제 4 적중률 0.97 에 오경보율 0.77 이었다. 같은 글틀에서 아는 장면과 모르는 장면을 절반씩 넣자 오경보율이 0.00 이 되었다
막힌 칸은 모델을 키우면 열린다고 봄 아직 막힌 칸과 모델 크기, 막힌 칸을 하나씩 연다 87M 은 막힌 칸을 열지 못했고, 학습 글의 조건 하나씩을 바꾸자 26M 에서 열렸다. 세 조건을 함께 넣은 87M 판은 0.77 / 0.71, 0.90 / 0.81, 쓰고 답 0.71 / 0.67 이었다
풀이는 답의 앞에 적든 뒤에 적든 같다고 봄 문제 5 수를 먼저 말하게 배운 판은 경로를 97% 맞게 적고도 수는 29% 만 맞혔다. 경로를 먼저 적게 하자 70% 가 되었다

요약

루나의 집과 동네를 곳 19 군데, 문·계단·길 18 개, 창 35 개의 그래프로 정하고, 모든 물음의 정답을 프로그램이 계산하게 했다. 시험지 2,179 문항은 학습 글보다 먼저 고정했고, 이어야 하는 물음은 학습에 쓰지 않은 조합으로만 냈다.

사실을 한 편에 하나씩 읽힌 사실만 판은 「어디 있나」만 올랐다. 이어야 하는 물음을 학습용 조합의 묻고 답하기로 보여 주자 「볼 수 있나」가 0.73 / 0.61 이 되었는데, 물건·곳·때의 경향만으로도 0.69 를 얻으므로 이 점수로는 이었다고 할 수 없었다. 경향을 뺀 쌍 채점과 층별 탐침으로 확인한 것은, 사실만 판에는 잇는 계산이 없었고 묻고 답하기 판은 일부 잇는다는 것이다(0.59 / 0.58 대 0.80 / 0.88). 그 잇기에 규칙 체인의 논리 연습이 쓰였다는 근거는 없었고, 논리 글을 뺀 26M 판도 동네 칸은 시드 범위가 겹쳤다. 두 재료를 한 문항에서 함께 써야 할 때는 그 문항의 풀이 글이 있어야 풀렸다. 풀이 글이 적을 때 논리 글은 규칙 잇기를 앞당겼지만(2,000 편에서 0.99·0.98 대 0.54·0.55), 동네 묻고 답하기는 문항 안의 보이나 판단을 앞당기지 않았다.

시험이 묻는 형식으로 답을 쓰게 하자 「어디 있나」가 0.87 / 0.98 이 되었다. 「모른다」는 두 번 판단 기준만 옮겨 다니다가, 같은 글틀에서 아는 장면과 모르는 장면을 절반씩 보여 준 대조 쌍 판에서 구분이 생겼다(아는 장면 0.98 / 0.99, 오경보율 0.00, 적중률 0.62 / 0.54).

「볼 수 있나」의 대화 형식, 동네에 없는 물건, 홉 카운트는 87M 으로 키워도 열리지 않았고, 학습 글의 조건을 하나씩 바꾸자 26M 에서 움직였다. 보이는 곳과 안 보이는 곳의 대조 쌍, 없는 물건 이름 72 가지, 경로를 먼저 적고 수를 끝에 말하는 답이다. 세 조건을 함께 넣은 87M 판은 「볼 수 있나」 0.77 / 0.71, 없는 물건 0.90 / 0.81, 홉 카운트 쓰고 답 0.71 / 0.67 이었다. 다음 장의 마음 글까지 더한 마지막 루나는 0.82 / 0.69, 0.88 / 0.83, 0.71 / 0.73 이고, 모를 때 「모른다」의 대화 형식 0.58, 논리 변별력의 평균 2.20, 사실을 준 이야기의 길의 첫 곳 0.76 이 치른 값으로 남았다.

루나 설정서 점검

새 설정서의 줄 이번에(마지막 87M 판) 남은 것
1. 다섯 살처럼 말하고 생각한다 자기 집과 동네를 안다. 물건의 자리 0.97 / 1.00, 길의 첫 곳 0.85 / 0.91, 처음 보는 조합의 「볼 수 있나」 0.82 / 0.69(쌍 채점 0.85 / 0.89), 홉 카운트 쓰고 답 0.71 / 0.73 홉 6 이상의 홉 카운트 0.39, 「볼 수 있나」 대화 형식 0.69, 사실을 준 이야기의 길의 첫 곳 0.76, 퀴즈 형식
5. 가족을 사랑한다 가족이 어디로 갔는지 들었거나 창으로 본 장면에서 그곳을 0.94 / 1.00 댄다. 가족이 보이는지는 0.81 / 0.76 가족이 어디 있는지 알 때와 모를 때의 마음은 이 장에서 읽지 않았다
6. 모르면 모른다고 한다 아는 장면에서 모른다고 하지 않는다. 동네에 없는 물건에 0.88 / 0.83 모른다고 한다 모르는 장면에서 모른다고 하는 비율 0.78 / 0.58 로 대화 형식이 기준 아래

막힌 곳

이 장에서 열지 못했거나 측정하지 않은 것을 한 줄씩 적어 둔다.