따져 보기: 무엇이 루나의 추론을 막고 있을까
이 장의 물음
다섯 살 시험지의 논리 칸에는 「케이크가 다 되면 네드는 뛴다」는 규칙과 「네드는 뛰지 않았다」는 사실을 주고 케이크가 다 됐는지를 묻는 문항이 있는데, 사람은 규칙 하나와 사실 하나를 이어서 「아니」라고 답한다. 첫 성적표에서 루나는 논리 칸의 우연을 넘지 못했고, 그래서 물음이 남았다. 동화를 수십만 편 읽고도 규칙 하나를 따라가지 못한다면, 모자란 것은 무엇일까? 읽은 글의 양일까, 모델의 크기일까, 학습 시간일까, 아니면 문제가 다섯 살에게 너무 어려운 것일까?
이 장에는 모델이 둘 나온다. 하나는 측정에만 쓰는 작은 트랜스포머로, 동화를 한 편도 읽지 않고 규칙 문항만 처음부터 배운다. 다른 하나는 낱말 목록으로 거른 동화와 지식 글을 읽는 프리트레인 단계의 루나(8층, 폭 512)이고, 대화는 아직 배우지 않았다. 세 사람은 무엇을 더 넣을지 고르기 전에 무엇이 막고 있는지부터 작은 모델에서 측정하고, 측정한 것을 루나에게 그대로 건다.
이 장의 줄기 물음은 하나다. 루나는 규칙을 따라가지 못하는데, 무엇이 막고 있는가? 아래 다섯 물음은 그 답을 찾아가는 차례다.
이 장이 끝나면 루나는 프로그램이 찍은 규칙 문항에서 규칙 넷을 차례로 이어 풀이를 적고 답한다. 학습에 없던 문항을 94~97% 맞히고, 규칙이 중간에 끊긴 문항에는 87~94% 「알 수 없다」고 답한다.
- 따지는 글을 읽혔는데 점수가 오르지 않을 때, 시험과 모델 가운데 무엇을 먼저 의심해야 할까?
- 규칙을 따라가는 능력을 막는 것은 문제의 복잡도, 문항의 수, 모델의 크기, 학습 시간 가운데 무엇일까?
- 층이 하나나 둘뿐인 모델은 규칙을 몇 개까지 이을 수 있을까?
- 답하기 전에 가운데 결론을 글로 적게 하면 무엇이 달라질까?
- 작은 모델에서 그린 지도는 동화를 함께 읽는 루나에게도 맞을까?
발표가 끝난 뒤: 대화하는 루나에게 따져 묻다
학기 마지막 주의 발표에서 민준과 서연이 띄운 것은 옛 토큰 표 위에서 정체성 대화를 배운 루나였다. 민준이 「Luna, who is your Daddy?」라고 치자 루나는 「My Daddy is Minjun. My Mommy is Seoyeon. I love them very much.」라고 답했고, 강의실 뒤쪽에서 웃음이 났다. 선생님은 성적표의 다섯 칸을 끝까지 읽은 뒤 고개를 한 번 끄덕였다. 조별 과제는 그것으로 끝났다.
발표 다음 날부터 민준은 라운지에서 루나와 이것저것 이야기하다가, 동화책에서 아이에게 묻는 것 같은 물음을 몇 개 써서 건네 보았다. 규칙 하나와 사실 하나를 주고 묻는 물음, 규칙 둘을 잇는 물음, 키를 둘 비교하는 물음이었고, 다섯 살 시험지의 문장은 쓰지 않았다. 아래는 그리디로 받은 답이다(sources/talk/chat_logic.py → sources/talk/chat_logic.out).
[id4 시드 1] User: Luna, if it rains, we stay home. It is raining now. Do we stay home?
Luna: Yes, we stay home. Rain is water from the sky.
[id4 시드 1] User: Luna, if the bell rings, the class ends. If the class ends, we go home. The bell rang. Do we go home?
Luna: Yes, we go home. The teacher and the class end.
[id4 시드 1] User: Luna, if the cookie is in the box, Daddy is happy. Daddy is not happy. Is the cookie in the box?
Luna: I do not know if the cookie is in the box. I cannot see it. You can tell me if you want.
[id4 시드 1] User: Luna, if it is sunny, we go to the park. It is not sunny today. Do we go to the park?
Luna: Yes, we go to the park. The sun is bright.
[id4 시드 2] User: Luna, Tom is taller than Sam. Sam is taller than Ben. Who is the tallest?
Luna: Sam is taller than Tom. He can see the whole town.
시드 셋을 합치면 답이 yes 인 물음은 아홉 번 가운데 여덟 번 맞았다. 답이 no 인 쿠키 물음은 세 번 모두 「모른다」고 했고, 해가 나지 않은 날 공원에 가느냐는 물음에는 세 번 모두 yes 라고 했다. 키 비교는 셋 가운데 둘이 Tom 을 말했다.
그날 저녁 랩실 소파에서 민준은 노트북을 돌려 두 사람에게 화면을 보여 주었다.

규칙 둘을 잇는 것도 맞혔어. 종이 울리면 수업이 끝나고, 수업이 끝나면 집에 가고. 그런데 해가 안 났는데 공원에 간대. 해가 쨍쨍하다고까지 해.

맞힌 것만 모아 보세요, 선배. 다 답이 yes 예요. 틀린 건 no 라고 해야 하는 물음이랑 모른다고 해야 하는 물음이고요. 비가 오면 집에 있느냐고 물었을 때 yes 라고 한 게 규칙을 따라간 걸까요, 그냥 yes 라고 한 걸까요?

쿠키는 모른다고 했잖아. 그건 아무 말이나 한 건 아니지.

쿠키는 거꾸로 따라가야 하는 물음이야. 아빠가 기쁘지 않으니까 쿠키는 상자에 없다. 거기서 모른다고 한 거고, 해가 안 난 날엔 모른다고 해야 하는데 간다고 했어. 모른다고 할 자리와 아닌 자리를 거꾸로 짚은 거야.
서연은 공책 뒷장을 펼쳤다. 첫 성적표의 논리 칸은 대화로 가르친 루나가 −0.120~−0.050 이었고, 토큰 표를 다시 짠 판도 −0.11, −0.09, −0.14 로 우연을 넘지 못했다.

성적표에서 본 거랑 같아. 숫자로는 알았는데, 말로 물어보니까 더 잘 보이네.

그럼 이걸 고쳐야지. 과제가 끝났다고 루나가 여기서 멈추는 건 좀 그렇잖아.

발표는 끝났어. 이제부터는 학점도 안 나와.

그럼 이제 「조별 과제야」라는 말은 못 하시겠네요, 선배.
서연은 대답 대신 설정서 공책의 첫 장을 넘겼다. 새 설정서 첫 줄은 「다섯 살처럼 말하고 생각한다」였고, 여섯째 줄은 「모르면 모른다고 한다」였다.

첫 줄의 「생각한다」는 아직 한 번도 측정 안 했어. 그리고 해가 안 났을 때 공원에 가는지는 모르는 거잖아. 여섯째 줄이야. 루나가 틀린 두 물음이 설정서의 빈칸 두 개에 그대로 걸려.

다섯 살 아이한테 「해가 나면 공원에 가자」고 하면, 비 오는 날 「그럼 오늘은 안 가?」 하고 되물어요. 규칙이 말해 주지 않는 날이 있다는 걸 아는 거죠.

겨울 방학이 두 달이야. 랩실 GPU 는 방학에도 돌아가고.

…선생님께 방학 동안 서버 써도 되는지 여쭤볼게. 그리고 하은이 너는 축 짜는 거 잘하니까.
하은이 웃으며 의자를 당겨 앉자, 서연은 공책의 첫 줄 옆에 「생각한다: 따져 보기부터」라고 적었다.