따져 보기: 무엇이 루나의 추론을 막고 있을까

혼동하기 쉬운 점과 요약

토론 1. 97% 면 루나는 따질 줄 아는가

풀이 적기 문항을 섞어 프리트레인한 루나는 처음 보는 쌍의 홉이 넷인 문항을 거의 다 맞힌다. 민준은 새 설정서의 「다섯 살처럼 말하고 생각한다」 옆에 「규칙을 따라간다」고 적으려 한다. 적어도 될까?

김민준 M01
김민준

처음 보는 쌍이고, 낱말 세기로는 40% 밖에 안 나오는 시험이에요. cannot 문항도 맞혔어요. 이번에는 진짜 아니에요?

장하은 H01
장하은

시험 문항이 학습 문항과 같은 프로그램에서 나왔어요. 「Sue says the rule.」로 시작하고 「If …, then ….」이 늘어서는 글이에요. 동화 속에서 엄마가 「비가 오면 우산을 써야 해」라고 말하는 건 그 모양이 아니에요.

이서연 S05
이서연

측정해 봤어요. 낱말과 틀을 바꾼 문항은 고친 뒤에 80% 까지 왔지만, 딥시크가 이야기로 쓴 문항은 12~29% 예요. 헤맬 때 만든 겉 단서를 뺀 600 문항도 그대로 풀게 했는데, 고치기 전의 판들은 31~44% 로 우연이었고 겹치는 문항을 섞은 판부터 46~65% 예요(sources/logic-limits/transfer_summary.out). 우연은 벗어났지만 풀었다고 할 점수는 아니에요.

선생님 T14
선생님

그래서 설정서에는 측정한 대로 적어요. 「프로그램이 찍은 규칙 체인 문항에서, 처음 보는 쌍과 처음 보는 낱말을, 풀이를 적어서」 푼다고요. 이야기 글에서는 12~29% 라는 것도 같이 적고요. 한 가지 시험에서 얻은 점수를 능력의 이름으로 바꿔 적지 않아요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
우연보다 한참 높으면 규칙을 따라간 것이라고 봄 1 끝의 규칙 하나만 읽어도 66.7% 가 나온다. 낱말만 세는 분류기는 딥시크 이야기 시험에서 75.8% 였다. cannot 문항과 분류기 점수를 함께 본다
학습을 더 오래 하면 결국 배운다고 봄 2 문항 3,000 개인 칸은 스텝을 네 배로 늘려도 43.6% 에서 44.7% 였다
파라미터가 많은 모델이 더 잘 따진다고 봄 없음 4층 × 128(82만 개)은 홉 4 에서 95.2%, 1층 × 256(84만 개)은 61.1% 였다. 폭 512 는 256 보다 높지 않았다
답 앞에 토큰을 늘리면 계산할 자리가 생겨 나아진다고 봄 3 뜻 없는 낱말로 채운 판은 2층에서 62.8%, 문항 1만 개에서 56.4% 로 바로 답하기보다 낮았다. 가운데 결론을 적은 판만 99.0%, 89.0% 로 올랐다
적은 풀이가 맞으면 그 풀이를 읽고 답한 것이라고 봄 3 2층 모델은 답 98.3%, 풀이 34.1% 였다. 풀이를 고쳐 넣었을 때 답이 바뀌는지는 측정하지 않았다
가장 센 조건이니 문항만 더 넣으면 된다고 봄 4 문항의 구조가 시험과 어긋난 동안에는 세 배를 넣어도 처음 보는 낱말의 홉 4 가 50% 안팎이었다. 명사 겹침과 상태 낱말의 가짓수를 고친 뒤에야 세 배가 74% 를 80% 로 올렸다
처음 보는 낱말에서 틀리면 그 낱말을 몰라서라고 봄 4 배운 낱말만 써도 한 문항에 같은 명사가 겹치면 91% 가 76% 로 내려갔다. 낱말이 처음인 것과 문항의 구조가 처음인 것을 대조 문항으로 갈라야 한다
점수가 나쁘면 모델이 못 하는 것이라고 봄 없음 더 긴 체인의 35~55% 는 한 번도 학습되지 않은 자리 때문이었다. 자리를 모두 배우게 하자 홉 5 가 79.8% 가 되었다

요약

논리 이야기를 프리트레인에 섞고 따지는 문장을 넣고, 빼고, 뜻 없는 문장으로 채워 보았지만 점수는 63~74% 에서 오르내렸고, 낱말만 세는 분류기가 같은 시험에서 75.8% 를 맞혔다. 그래서 무엇을 넣을지 고르는 일을 멈추고, 문제의 복잡도, 서로 다른 문항의 수, 모델의 크기, 학습 시간 가운데 무엇이 막고 있는지부터 측정했다.

프로그램이 찍은 규칙 체인 문항만으로 작은 모델을 학습하면서 조건을 한 번에 하나만 바꾸고, 처음 보는 쌍으로 시험하고, cannot 문항을 따로 셌다. 가장 센 조건은 서로 다른 문항의 수였고(홉 4 문항이 1,000 개에서 37.3%, 3만 개에서 94.8%), 상관없는 규칙이 하나 끼면 필요한 문항이 열 배가 되었다. 성질의 수와 학습 시간은 문턱을 옮기지 못했고, 모델의 크기에서는 층 수만 문턱이었다(층 하나나 둘은 61~70%, 4층부터 95% 안팎).

답하기 전에 가운데 결론을 적게 하자 2층 모델이 68.5% 에서 99.0% 로, 문항 1만 개인 칸이 58.0% 에서 89.0% 로 올랐고, 같은 길이를 뜻 없는 낱말로 채운 판은 오르지 않았다(홉 4 까지 배운 칸의 결과다). 홉 카운트는 규칙이라는 함수를 겹쳐 쓰는 횟수이고, 풀이 적기는 한 번에 한 번만 겹치면 된다. 생각의 체인과 추론 모델이 같은 원리를 쓴다.

이 지도를 루나에게 옮기자 풀이 적기 문항 1만 8천 개로 처음 보는 쌍의 홉 4 가 94~97% 가 되었고, 바로 답하기는 25만 개에서야 세 시드가 97% 를 넘었다. 학습 문항에 없던 낱말은 양을 세 배로 넣어도 50% 안팎이다가, 명사 겹침과 상태 낱말의 가짓수를 고친 뒤 같은 양에서 74%, 세 배에서 80% 가 되었다. 딥시크가 이야기로 쓴 문항은 어느 판도 12~29% 였다.

루나 설정서 점검

새 설정서의 줄 이번에 남은 것
1. 다섯 살처럼 말하고 생각한다 규칙 체인 문항에서 처음 보는 쌍을 풀이를 적어 푼다(홉 1~4) 처음 보는 낱말의 홉 4 는 80%, 풀이 전체는 57%. 이야기로 쓴 문항은 12~29%. 대화를 배운 뒤에도 남는지
6. 모르면 모른다고 한다 체인이 끊긴 문항에 cannot 이라고 답한다 규칙 문항 밖에서 모르는 것을 모른다고 하는지는 아직 측정하지 않았다

서연은 공책의 「If … so …」 옆에 줄을 긋는 대신 한 줄을 보탰다. 「먼저 측정한다: 문제, 문항 수, 층, 시간.」

김민준 M02
김민준

그거 칠판에 있던 네 낱말이네.

이서연 S01
이서연

다음에 또 헤매면 여기부터 펴려고.

막힌 곳

루나가 푸는 것은 아직 프로그램이 찍은 글이다. 같은 규칙 묶음을 딥시크가 아이 둘의 이야기로 쓰면, 규칙이 간판에 적혀 있기도 하고 한 아이가 친구에게 들은 것이기도 하며 묻는 말과 본 것의 차례도 편마다 다른데, 그런 글에서는 풀이를 시작하지도 못한 문항이 절반이었다.