다음 루나를 위하여: 원하는 모델을 빚는 순서와 AI 의 앞날
혼동하기 쉬운 점과 요약
토론 1. AI 가 AI 를 고치게 되면 사람은 무엇을 하나
하은은 재귀적 자기 개선이 오면 루나를 키우는 일도 AI 가 다 하게 될 것이라고 한다. 그렇다면 오늘 정리한 순서에서 사람의 자리는 남을까?

데이터도 딥시크가 쓰고, 루나 대답도 딥시크가 읽었잖아요. 다음에는 대조 실험도 AI 가 설계하면, 사람은 지켜보기만 하는 거 아니에요?

그래도 루나가 다섯 살이어야 한다고 정한 건 딥시크가 아니잖아.

순서를 다시 보면, 「원하는 것을 시험지로 적기」 상자의 입력은 사람의 바람이야. 다른 상자는 자동으로 돌 수 있어도, 그 상자의 입력이 비면 고리가 무엇을 향해 도는지 정할 수 없어.

지금 할 수 있는 말은 거기까지예요. 데이터를 보강하고 구조와 하네스를 고치는 일은 이미 AI 가 많이 돕고, 앞으로 더 많이 맡을 거예요. 무엇을 원하는지 정하는 것과 완전히 새로운 실험을 감독하는 것은 지금은 사람의 일이에요. 굿이 단서로 붙인 「우리가 그 기계를 다룰 수 있다면」도 사람이 지켜야 하는 조건이고요. 그 경계가 어디로 옮겨 갈지는 측정하면서 보는 수밖에 없어요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 곳 | 바로잡는 법 |
|---|---|---|
| 타이니스토리즈는 웹에서 긁어온 글이라고 봄 | 공개된 데이터에서 출발하다 | GPT-3.5·GPT-4 가 쓴 합성 동화다. 웹에서 모은 글은 ClimbMix 이고, 마지막 루나의 학습 글에는 들어가지 않았다 |
| 사람이 쓴 글이 0% 면 사람은 데이터에 손대지 않았다고 봄 | 데이터를 보강하는 네 가지 | 사람은 문장 대신 규칙(감정 규칙표 17 경우, 낱말 3,050 개, 글틀)을 썼고, 프로그램이 그 규칙으로 글 수십만 편을 만들었다 |
| 일찍 섞으면 늘 덜 잊는다고 봄 | 일찍 섞으면 왜 덜 잊을까 | 장난감 모델에서는 자리나 시간이 모자랄 때만 차이가 났다. 폭이 넉넉하면 Δ 가 +3.380 으로 같았다 |
| 점수가 막히면 먼저 모델을 키운다고 봄 | 그래도 오르지 않으면 몸을 키운다 | 같은 믹스로 26M 과 87M 을 비교해 막힌 곳이 몸인지 먼저 측정한다. 87M 은 논리를 지켰지만 막힌 칸은 글이 열었다 |
| 모델의 능력은 가중치에 다 들어 있다고 봄 | 모델에 맥락을 건네는 하네스 | 같은 마지막 루나가 표시 줄 하나로 산수 새 쌍 26.0% → 100%, 첫 줄의 자리로 물건 가져오기 0.07 → 1.00 이 되었다 |
요약
원하는 모델을 빚는 순서는 공개 데이터로 프리트레이닝한 뒤, 원하는 것을 시험지의 칸으로 적고, 측정 → 데이터 보강 → 한 가지만 바꾼 대조 → 믹스에 넣기의 고리를 도는 것이다. 루나에서는 바람을 칸으로 옮기는 데 정답을 프로그램이 들고 있는 문항과 쌍 점수가, 보강에는 사람이 정한 규칙을 코드가 늘리고 딥시크가 말씨를 바꾸는 차례가 가장 많이 통했다. 마지막 루나의 학습 토큰은 타이니스토리즈 65.68%, 프로그램 24.41%, 딥시크 9.91% 였다.
새로 가르친 것은 마지막에 따로 넣으면 옛 것을 지웠고, 처음부터 함께 섞으면 남았다. 조기 노출 논문은 같은 결과를 큰 모델에서 냈고, 두 층 선형 모델은 프리트레이닝에서 한 번도 쓰이지 않은 방향은 뒤에서 열리지 않는다는 것과, 섞은 판과 안 섞은 판의 차이가 자리나 시간이 모자랄 때 나타난다는 것을 보여 주었다. 몸은 막힌 곳이 몸인지 측정한 뒤 키우고, 몸을 키운 뒤의 구조(긴 맥락 어텐션, MoE, 루프 트랜스포머, Engram)는 다음 루나의 연구 과제로 남겼다. 하네스는 같은 가중치로 못 하던 일을 하게 했다.
작은 모델은 빠른 대조, 끝까지 아는 데이터, 열어 볼 수 있는 속을 주었고, 크기에서만 나타나는 현상은 주지 못했다. 시험지는 다섯 칸에서 24 칸으로 늘었다. 칸을 열 때마다 다음 칸이 보였고, 무엇을 원하는지 정하는 일과 새 실험을 알아채는 일은 사람이 했다. 마지막 루나는 배우고 싶은 것을 물었을 때 시드 하나가 「I want to learn about computers at home.」이라고 답했다.
다음 루나에게 해 볼 것
- 구조 후보. 긴 맥락 어텐션(루나는 512 토큰까지), MoE, 같은 층을 되풀이하는 루프 트랜스포머, 조회 기억 Engram. 넣을 때마다 같은 믹스, 시드 셋으로 비교한다.
- 배우고 싶은 것을 물으면 걱정하는 두 시드. 「what do you want to learn?」에 시드 2·3 이 「I am worried.」라고 답했다(
luna_last.out). 마음 글이 다른 물음에도 번진 것인지는 측정하지 않았다. - 공책에 있는 값. 공책에 적힌 값을 찾아 답하는 문항은 마지막 루나가 24·21·11% 를 맞혔다(
sources/world-limits/m5_mark.out). 없는 값에 「모른다」고 하는 것(100·100·98%)보다 훨씬 낮다.