혼동하기 쉬운 점과 요약
토론 1. 데이터가 모자라면 더 모으면 된다?
민준은 딥시크에게 이야기를 하루 8,000 편씩 쓰게 하면 한 달이면 24만 편이 된다고 계산했다. 서연은 그보다 프로그램 문항의 모양을 고치는 것이 먼저라고 한다. 둘 가운데 누구 말이 이 장의 숫자와 맞을까?

규칙 체인의 한계 지도에서는 문항 수가 가장 셌어요. 이야기도 문항이니까 많을수록 좋겠죠.

편수를 2,150 편, 4,300 편, 7,000 편으로 늘렸을 때 yes·no 는 올랐지만 cannot 홉 3·4 는 37, 41, 43 이었어. 두 배마다 5 점 안팎이야. 같은 계산량에서 글틀 두 벌을 더하니 17 점이 올랐고.

그래도 민준 말이 틀린 건 아니에요. 네 가지를 합친 판은 문항이 줄었을 때 오르지 않았고, 30% 로 채우니까 전체가 올랐잖아요. 모양을 넓히면 양이 다시 필요해요.

둘 다 맞는 말을 하고 있어요. 양은 늘 필요해요. 다만 무엇의 양인지가 먼저예요. 「데이터가 모자라다」는 말을 들으면 「어느 능력을 덮는 데이터가 모자란가」로 바꿔 물어야 해요. 그 물음에 답하려고 시험지를 능력별로 나누고, 데이터의 모양을 하나씩 바꿔서 지도를 그린 거예요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 곳 | 바로잡는 법 |
|---|---|---|
| 떼어 둔 시험의 정답률이 오르면 그 능력이 늘었다고 봄 | 시험지를 넓히고 나눠 읽다 | 전체 정답률은 yes·no 가 끌어올린다. 답의 종류 × 홉 수로 나누면 cannot 홉 3·4 만 40% 안팎에 머물러 있었다 |
| 배운 글을 다 맞히면 일반화도 따라온다고 봄 | 용량 | 같은 이야기를 열여섯 번 보이면 배운 이야기는 100% 지만 떼어 둔 이야기는 여덟 번일 때보다 낮았다 |
| 이야기 글의 실수는 이야기 글로만 고칠 수 있다고 봄 | 문형 | 이야기는 그대로 두고 프로그램 문항의 글틀만 늘렸는데 이야기 cannot 이 56% 에서 69% 로 올랐다 |
| 오답이 몰린 문형을 채우면 그 문형이 오른다고 봄 | 문형 | means 문형을 글틀에 더했지만 가장 적게 오른 것이 means 문형(47 → 52%)이었고 if·when 이 11~17%p 올랐다 |
| 효과가 있던 변경을 모두 합치면 더해진다고 봄 | 네 가지를 한꺼번에 바꾸면 | 합친 판은 하나만 바꾼 판보다 높지 않았다(79 → 74%, 시드 81·73·69). 같은 양 안에서 문항이 줄고 조건마다 문항이 엷어졌다. 넣는 양을 30% 로 늘려도 cannot 은 65% 로 하나만 바꾼 판(69%)을 넘지 못했다 |
| 모델을 키우면 모든 칸이 고르게 오른다고 봄 | 데이터 모양의 지도 | 87M 모델(시드 둘)은 프로그램 문항을 94% 로 올렸지만 이야기 cannot 홉 2 는 글틀 8 벌 판(70%)보다 낮은 62% 였다 |
요약
딥시크 이야기를 섞은 루나는 이야기 편수를 600 편에서 4,300 편으로 늘리는 동안 yes·no 문항을 80% 안팎까지 올렸지만 cannot 문항은 42% 에서 멈췄다. 시험지를 1,511 문항으로 넓히고 답의 종류와 홉 수로 나누자, yes·no 는 홉 4 까지 평평한데 cannot 은 홉 1 의 69% 에서 홉 3·4 의 26~27% 로 떨어졌다. 막힌 것은 홉을 맞게 이어 간 뒤 얻은 사실이 다음 규칙의 조건과 맞지 않을 때 멈추는 일이었고, 배운 이야기에서도 cannot 은 47% 였다.
「언어 모델의 물리학」 4.1부의 다섯 시험을 빌려 규칙 체인 문항의 능력을 깊이, 너비, 문형(계층 구조), 용량, 지식 다루기로 나누고 다섯에 없는 멈춤을 더한 뒤, 기준 판에서 데이터의 모양을 하나씩 바꾸었다. 같은 이야기를 여덟 번 보이면 cannot 이 43% 에서 56% 로 올랐고 열여섯 번은 외우기만 했으며, 서로 다른 이야기를 늘리면 yes·no 가 올랐다. 프로그램 문항의 규칙 글틀을 여섯 벌에서 여덟 벌로 늘리면 cannot 홉 2 와 홉 3·4 가 13~17%p 올라 전체가 70% 에서 79% 가 되었고, 시드 셋 모두에서 기준을 넘은 것은 글틀을 넓힌 판뿐이다. cannot 비율, 홉 수, 반대쪽 규칙을 바꾼 판의 이득(6~12%p)은 시드 사이 변동보다 크지 않아 확정하지 못했다. 모델을 3.3 배로 키우거나(시드 둘) 스텝을 두 배로 늘린 판은 모든 칸을 조금씩 올렸지만, 겨냥한 칸에서는 글틀을 고친 판이 더 높았다.
오른 네 가지를 한꺼번에 바꾼 판은 같은 양 안에서 문항이 줄어 하나만 바꾼 판보다 높지 않았고, 논리 글을 30% 로 늘려도 홉 3·4 의 cannot 은 53% 에 머물렀다. cannot 을 끊기기 전에 이은 홉 수로 나누면, 오른 것은 모두 이은 홉 0 과 1 의 문항이었고 두 홉 이상을 이은 뒤 멈추는 문항은 이 장의 어느 판에서도 23% 이하였다.
루나 설정서 점검
| 새 설정서의 줄 | 이번에 | 남은 것 |
|---|---|---|
| 1. 다섯 살처럼 말하고 생각한다 | 딥시크 이야기 글로 쓴 규칙 체인을 떼어 둔 1,511 문항에서 79% 푼다(글틀 8 벌 판, 시드 셋 79·79·80) | 겉 단서를 뺀 균형 묶음에서 yes·no 는 옮겨 갔지만 cannot 은 15~29% (이야기를 넣기 전 48%) |
| 6. 모르면 모른다고 한다 | 이야기 글에서 본 사실이 바로 규칙과 어긋나는 cannot 은 89% | 한 홉을 이은 뒤 어긋나는 cannot 은 44~50%, 두 홉 이상은 23% 이하 |
막힌 곳
두 칸이 남았다. 하나는 두 홉 이상을 맞게 이은 뒤 멈춰야 하는 cannot 이다. 이 장의 어떤 데이터 조작으로도 23% 를 넘지 못했고, 학습 이야기에 그런 문항이 176 편뿐이었다. 다른 하나는 겉 단서를 걷어 낸 균형 묶음의 cannot 으로, yes·no 는 이야기 판들에서 옮겨 갔지만 cannot 은 15~29% 에 묶여 있고 이야기를 넣기 전보다 낮다. 두 칸 모두 「모른다」고 답해야 하는 문항이고, 양을 늘리거나 모양 하나를 바꿔서는 움직이지 않았다.