루나의 동네: 따로 읽은 사실을 이어서 답할 수 있을까
이 장의 물음
규칙 체인 실험의 한계 지형 표를 다 채운 날, 선생님이 지난주 학회에서 모아 온 논문 묶음을 라운지 탁자에 펼쳤다. 하은도 학생회관에서 건너와 자리에 앉았다.

여러분이 측정한 것을 다른 연구자들은 어디까지 측정했는지 같이 봐요. 잘 짚은 점, 처음부터 예정되어 있던 한계, 그리고 다음 방향을 차례로 보죠.
| 논문 | 보인 것 | 규칙 체인 실험의 결과와 |
|---|---|---|
| 타프요르 팀, ProofWriter(2021) ProofWriter: Generating Implications, Proofs, and Abductive Statements over Natural Language · arXiv 2012.13048 |
규칙과 사실을 글로 주고 참·거짓·알 수 없음 가운데 하나를 고르게 했다. 「알 수 없음」은 주어진 글로 증명할 수 없는 문장의 답이다 | 세 답 설계의 선례. 미리 학습된 큰 모델을 고쳐 쓴 연구다 |
| 장훙화 팀, 「데이터로 추론을 배우는 역설」(2022) On the Paradox of Learning to Reason from Data · arXiv 2205.11502 |
논리 문제로 학습한 BERT 가 같은 분포의 문제는 거의 다 맞혔지만, 같은 문제 공간의 다른 분포로는 옮겨 가지 못했다. 추론 대신 데이터의 통계적 특징을 배운 것으로 해석했다 | 틀이 다른 균형 묶음과 역·이 물음의 벽 |
| 「데이터 섞기가 지식 습득의 상전이를 일으킨다」(2025) Data Mixing Can Induce Phase Transitions in Knowledge Acquisition · arXiv 2505.18091 |
합성 인물 정보를 웹 글에 섞을 때, 작은 모델은 특정 비율에서만 그 정보를 담았다 | 넣는 양을 고정한 4,300 편 판의 붕괴 |
| 「언어 모델이 아는 것을 알게 하는 파인튜닝」(2026) Fine-Tuning Language Models to Know What They Know · arXiv 2602.02605 |
큰 모델에서 기권 지표는 좋아져도 아는 것과 모르는 것의 변별은 늘지 않을 수 있다. 거의 모든 물음에 모른다고 답하는 리워드 해킹도 나왔다. 변별은 d′ 으로 측정했다 | 데이터가 판단 기준만 옮긴 규칙 체인 실험의 결과 |
| 탄칼라 팀, CurLL(2025) CurLL: A Developmental Framework to Evaluate Continual Learning in Language Models · arXiv 2510.13008 |
5~10 살 발달 단계에 맞춘 합성 데이터 234 억 토큰으로 135M 모델을 학습하며, 단계를 이어 배울 때 능력이 유지되고 옮겨 가는 정도를 측정했다 | 아이 나이에 맞춘 데이터로 능력을 쌓는 가장 가까운 연구. 데이터 규모는 루나의 수백 배 |
논문의 내용은 각 논문의 초록에서 확인했다.

잘 짚은 점부터요. 정답률 하나 대신 적중률과 오경보율로 나눈 것은 올해 큰 모델 연구가 내놓은 경고와 같은 방향이에요. 4,300 편 판이 무너졌을 때 데이터의 한계로 결론 내리지 않고 섞는 비율에서 원인을 찾은 것도 상전이 논문과 맞아요.

예정되어 있던 한계는 어떤 거예요?

배운 글 모양 밖이에요. 이야기 글에서 배운 멈춤이 겉 단서를 걷어 낸 문항으로 옮겨 가지 않은 것은 역설 논문이 4년 전에 BERT 에서 본 모습과 같아요. 작은 모델이 배운 글의 통계를 넘어서는 일은 원래 어려워요.

저는 다른 게 마음에 걸려요. 호킨스는 『생각하는 뇌, 생각하는 기계』에서 뇌가 세상의 모델을 기억에 담아 두고 다음에 올 것을 늘 예측한다고 했어요. 루나도 다음 토큰을 예측하죠. 그런데 루나에게는 예측할 세상이 없어요. 「kitchen」이라는 낱말을 쓰는 법은 알아도, 부엌이 집 어디에 있고 부엌 창으로 무엇이 보이는지는 몰라요.

그래서 두 편을 더 가져왔어요. 케네스 리 팀(2023)은 오셀로 기보, 그러니까 둔 자리의 순서만 읽힌 GPT 안에서 판의 상태를 탐침으로 읽어 냈고, 그 상태를 바꾸면 다음 수 예측이 따라 바뀌었어요. 「지역 묘사로 세계 지도를 배울 수 있나」(2025)는 0.5B 모델을 100 × 100 격자 속 장소 사이의 거리와 방위 문장으로 이어 학습했더니 보지 않은 장소 쌍의 관계를 맞혔지만, 경로 찾기는 조건을 조금만 바꿔도 무너졌어요. 오셀로는 게임판이고, 격자 연구는 이미 학습된 모델을 이어 학습한 거예요. 말로 된 집과 동네를 정답을 확인할 수 있게 만들어 작은 모델에 처음부터 넣고, 그 안에서 가족을 찾고 마음을 말하게 한 연구는 제가 찾은 범위에서는 없었어요. 참고할 선례가 적으니 측정하는 방법부터 우리가 만들어야 해요.

그럼 정답은 프로그램이 들고 있게 해요. 동네를 그래프로 만들어 두면 무엇이 어디 있나, 어디서 무엇이 보이나, 어디로 갈 수 있나를 모두 계산할 수 있어요. 시험 문항은 학습에 쓰지 않은 장소 조합으로 내고요.

루나가 그 동네를 직접 돌아다니면 좋겠어. 엄마가 안 보이면 엄마를 찾으러 부엌에 가는 거야.

다섯 살 아이가 실제로 하는 일이에요. 볼비가 세운 애착 이론에서 아이는 부모를 안전 기지로 삼아 주변을 둘러보고, 부모와 떨어지면 불안해해요. 에인스워스의 「낯선 상황」 실험에서도 많은 아이가 엄마가 곁에 있을 때는 장난감을 살피고, 엄마가 방을 나가면 불안해하다가, 엄마가 돌아오면 엄마에게 가서 다시 안정을 찾았어요. 루나에게도 「엄마가 어디 있는지 아는가, 보이는가」가 마음의 원인이 되면, 동네와 감정과 행동이 한 장면에서 만나요.

순서를 정하자. 루나가 동네를 알고, 가족이 어디 있는지에 따라 마음을 말하고, 아이답게 반응하고, 마지막에 동네에서 행동하는 거야. 몸을 키우는 건 그다음이고.

속을 읽는 건 우리만 해 본 거예요? 무너진 판과 버틴 판을 탐침으로 비교한 거요.

「모른다」가 속의 방향 하나에 달려 있다는 연구가 두 편 있어요.
| 논문 | 보인 것 |
|---|---|
| 페란도 팀(2024) Do I Know This Entity? Knowledge Awareness and Hallucinations in Language Models · arXiv 2411.14257 |
희소 오토인코더로 Gemma 2 2B 안에서 아는 대상과 모르는 대상을 구분하는 방향을 찾았다. 그 방향을 더하거나 빼면 채팅 모델이 답을 거절하는 정도가 바뀌었고, 채팅 학습이 기본 모델에 있던 장치를 다시 쓴다고 해석했다 |
| 아르디티 팀(2024) Refusal in Language Models Is Mediated by a Single Direction · arXiv 2406.11717 |
72B 까지의 채팅 모델 13 개에서 거절이 잔차 스트림의 방향 하나에 달려 있었다. 그 방향을 지우면 거절하지 않고, 더하면 해롭지 않은 요청도 거절했다 |

둘 다 이미 학습된 큰 모델을 들여다본 연구예요. 같은 작은 모델을 데이터만 바꿔 처음부터 여러 판 학습하고, 성공한 판과 실패한 판의 속을 나란히 비교한 연구는 찾지 못했어요.

그럼 하나가 더 남았네요. 변형 이야기 판이 정말 판단 기준만 옮긴 거라면, 「모른다」를 가리키는 방향은 기준 판과 비슷하고 문턱만 바뀌었을 거예요. 기준 판에서 어긋난 조건이 읽히는데도 멈추지 않던 것과 맞는 이야기고요.

해석 가능성 연구와 아기 언어 모델의 비교 연구가 만나는 자리예요. 동네 연구와 함께 이것도 연구 주제로 이어 가죠.
선생님이 논문 묶음을 탁자에 둔 채 일어나자, 서연은 설정서 공책에 다음 차례를 적었다. 동네를 안다, 가족이 어디 있는지에 따라 마음을 말한다, 아이답게 반응한다, 동네에서 행동한다. 맨 아래에는 아직 하지 못한 비교를 한 줄 적었다. 판단 기준만 옮긴 판의 속.
차례의 맨 위는 「동네를 안다」였다. 민준은 그날 저녁 라운지에서 기준 판 루나에게 「Mommy: Luna, it is night. Daddy is in the street. You are in the living room. Can you see Daddy?」 같은 물음 120 개를 넣어 보았다. 가족이 있는 곳과 루나가 있는 곳을 바꿔 가며 물었는데, 루나는 120 개 모두에 No 를 골랐고 시드 셋이 다 그랬다(sources/world-limits/world_chapter.out 3절).

어디에 있든 안 보인대. 거실 창으로 길이 보인다는 걸 모르는 거야. 「Daddy!」 하고 부를 줄은 아는데, 그 아빠가 창밖에 서 있어도 못 본다는 거잖아.

모르는 게 당연해. 루나가 읽은 글 어디에도 우리가 정한 집은 없었으니까. 집부터 정하고, 정한 집을 글로 읽힌 다음에 다시 물어야지.

다섯 살 아이는 자기 집을 글로 배우지 않아요. 돌아다니면서 알죠. 루나는 글로만 배우니까, 글에 적힌 것과 글에서 이어 낸 것을 구분해서 물어야 할 것 같아요.
이 장의 줄기는 하나다. 루나는 자기 집을 모른다. 글로만 읽은 집에서, 「아빠가 보여?」처럼 두 사실을 이어야 답할 수 있는 물음에 루나가 아는 대로 답하게 만든다. 아래의 물음들은 그 줄기를 차례로 나눈 것이다.
이 장의 모델은 규칙 체인 실험의 기준 판과 같다. 낱말 목록으로 거른 동화와 지식 글에 규칙 체인 문항과 딥시크 이야기를 섞어 프리트레인한 8층, 폭 512, 파라미터 2,653만 개의 루나이고, 14,000 스텝을 학습한다. 여기에 동네를 적은 글을 더하면서 프로그램 문항의 토큰 양은 기준 판과 같게 지킨다. 넣는 양을 고정하면 새 글이 다른 글을 밀어낸다는 것을 깊은 끊김 이야기 4,300 편 판에서 보았기 때문이다.
- 루나의 집과 동네를, 모든 물음의 정답을 계산할 수 있는 형태로 어떻게 정하는가?
- 동네의 사실을 하나씩 따로 읽은 루나는 두 사실을 이어야 답할 수 있는 물음에 답하는가? 답한다면 정말 이어서 답하는가?
- 엄마가 어디 있는지 아는 장면과 모르는 장면을 루나는 구분하는가?
- 끝까지 막힌 칸은 모델 크기로 열리는가, 학습 글로 열리는가?
이 장이 끝나면 루나는 「소파 어디 있어?」에 거실이라고 답하고, 거실에서 길에 있는 아빠가 보인다고 답하고, 아빠가 어디로 간다고 말했으면 그곳을 대고 말없이 나갔으면 모른다고 한다. 마지막 87M 판은 물건의 자리를 1.00 / 1.00, 「볼 수 있나」를 0.77 / 0.71, 동네에 없는 물건에 모른다고 하기를 0.90 / 0.81 맞힌다(이야기 형식 / 대화 형식). 모르는 장면에서 모른다고 하는 비율은 0.78 / 0.64 로 대화 형식이 한계로 남는다.
루나의 동네를 그래프로
「아빠가 보여?」의 정답을 누가 정하는가부터 문제였다. 사람이 문항마다 정답을 적으면 문항이 수천 개로 늘 때 틀린 정답이 섞이고, 루나가 틀린 것인지 정답이 틀린 것인지 구분할 수 없게 된다. 서연은 정답을 프로그램이 들고 있게 했다. 집과 동네를 그래프로 적어 두면 어디에 무엇이 있는지, 어디서 무엇이 보이는지, 어디로 갈 수 있는지를 모두 계산할 수 있다. 장면 속 물건과 물건 사이의 관계를 마디와 선으로 적은 이런 자료 구조를 씬그래프(scene graph)라고 부른다.

동네에는 돌아다닐 수 있는 곳이 19 군데 있고, 문·계단·길 18 개로 이어진다. 선이 곳보다 하나 적으므로 두 곳 사이의 경로는 하나뿐이고, 가장 먼 선생님 집 안과 개구리 연못 사이는 10 홉이다(sources/playground/world.out). 보이는 것은 오가는 것과 따로 정했다. 창이나 트인 곳 35 개에는 방향이 있어서 루나의 방 창으로는 뒷마당이 보여도 뒷마당에서 루나의 방 안은 보이지 않는다. 숲 쪽으로 난 창 10 개는 밤이 되면 꺼지고, 그 대신 밤에는 네 곳에서 별나라가 보인다. 별나라는 보이기만 하고 어느 길로도 갈 수 없는 곳이다.
가족은 그래프에 넣지 않았는데, 엄마와 아빠와 선생님이 어디 있는지는 장면마다 바뀌므로 장면의 상태로 준다. 상태는 가족이 있는 곳, 루나가 있는 곳, 낮인지 밤인지, 그리고 루나가 가족의 위치를 어떻게 알게 되었는지다. 가족이 어디로 간다고 말했거나, 창 너머로 보이거나, 말없이 나갔거나 셋 가운데 하나다.
정답을 프로그램이 들고 있는 시험지
시험지는 학습 글보다 먼저 만들어 고정했다.
| 칸 | 물음의 보기 | 정답을 얻는 법 | 문항 수 |
|---|---|---|---|
| 어디 있나 | Where is the sofa? | 물건의 자리를 그대로 기억 | 20 |
| 볼 수 있나 | It is daytime. Luna is in the teacher’s garden. Can Luna see the frogs? | 물건의 자리와 창을 이음 | 127 |
| 홉 카운트 | How many doors and paths does Luna go through from Mommy and Daddy’s room to the front yard? | 문·길을 차례로 이어 수를 구함 | 71 |
| 길의 첫 곳 | Luna is in the front door. Luna wants to go to the fox’s den. Where does Luna go first? | 문·길을 이어 방향을 정함 | 70 |
| 가족이 보이나 | It is night. Daddy is in the street. Luna is in the living room. Can Luna see Daddy? | 장면의 상태와 창을 이음 | 120 |
| 가족이 어디 있나 | Luna is in Luna’s room. Daddy said, “I am going to the front door.” Then Daddy went. Where is Daddy? | 들었거나 본 곳. 듣지 못했으면 「I do not know.」 | 72 + 78 |
| 동네에 없는 물건, 별나라 | Where is the piano? / Can Luna go to the star land? | 「I do not know.」 / No | 16 + 23 |
위 표는 동네 시험지의 칸이다(sources/world-limits/world_chapter.out 1절, 문항 수는 형식 하나의 수). 「가족이 어디 있나」의 72 는 들었거나 본 장면이고 78 은 알 길이 없는 장면이다.
모든 문항은 세 형식으로 낸다. 이야기 형식은 3인칭으로 쓰고 「Luna says, "」에서 끝나고, 대화 형식은 엄마가 묻고 「Luna:」에서 끝난다. 퀴즈 형식 「Question: … Answer:」는 어느 학습 글에도 쓰지 않는다. 이어야 하는 칸에는 필요한 사실을 문항에 모두 적어 준 문항도 하나씩 더 두어서, 모두 2,179 문항이다. 채점은 보기 고르기다. 문항 뒤에 보기를 하나씩 붙여 루나가 준 로그 확률이 가장 높은 보기를 답으로 보되, 「I do not know.」처럼 짧고 흔한 보기가 문항과 상관없이 높은 점수를 받지 않도록 빈 문맥에서 같은 보기가 받는 점수를 뺀다. 답이 yes·no 인 칸은 yes 문항의 정답률과 no 문항의 정답률을 평균한 균형 정확도로 적으므로, 한 답만 고르는 모델은 0.5 가 된다.
시험 문항은 학습 글과 겹치지 않는다. 「볼 수 있나」는 물건, 보는 곳, 때의 조합을 해시로 절반씩 나눠 한쪽만 시험에 쓰고, 홉 카운트와 길과 가족 장면도 같은 방법으로 조합을 나눴다. 시험용 조합은 뒤에 나오는 어떤 학습 글에도 넣지 않는다.

한 답만 고르면 0.5 인 건 알겠어요. 그런데 길에서는 여러 곳이 보이고 여우 굴은 어디서도 안 보이잖아요. 곳마다, 물건마다 보이는 정도가 다르면 그것만 알아도 0.5 는 넘지 않나요?

넘을 수 있어. 얼마나 넘는지는 지금은 몰라. 0.5 는 「한 답만 고르는 수준」으로만 읽고, 두 사실을 이었는지는 점수가 오른 다음에 따로 측정하자.
동네 글을 읽지 않은 판 넷으로 먼저 채점했다.

| 칸 | 동네 글을 읽지 않은 네 판, 세 형식의 범위 | 무작위로 고르거나 한 답만 고를 때 |
|---|---|---|
| 볼 수 있나 | 0.48~0.55 | 0.5 |
| 가족이 보이나 | 0.46~0.56 | 0.5 |
| 홉 카운트 | 0.00~0.11 | 0.1 |
| 볼 수 있나, 사실을 문항에 다 적어 줌 | 0.49~0.57 | 0.5 |
| 어디 있나 | 0.15~0.48 | 0.05 |
위 표는 동네 글 없이 측정한 기준선이다(sources/world-limits/world_bench.out 의 base·M15R·Y15kR+long·Y15kR+big, 시드 셋의 평균).
이어야 하는 칸은 사실을 문항에 다 적어 줘도 한 답만 고르는 수준이었다. 루나는 규칙 체인의 yes·no 는 풀지만 「Can Luna see …?」에 답하는 법은 배운 적이 없다. 「어디 있나」가 0.05 보다 높은 것은 「the owl」의 자리가 「the owl’s tree」인 것처럼 이름이 겹치는 문항이 있어서라고 해석했다.
이 절에서 좋아진 것은 측정할 대상으로, 정답을 계산할 수 있는 동네와 학습 글보다 먼저 고정한 2,179 문항이 생겼다.