혼동하기 쉬운 점과 요약
토론 1. 중복을 지워도 점수가 그대로면 중복 제거는 쓸모없나

중복을 지운 판이랑 그대로 판이 똑같았잖아. 그럼 안 지워도 되는 거 아니야?

우리 데이터에서 지운 게 2.8% 였으니까 그런 거 아닐까? C4 에서는 한 문장이 6만 번 나왔다며.

둘 다 맞아요. 지운 양이 적어서 우리 시험지로는 차이가 안 보였어요. 되풀이가 많으면 이야기가 달라요. 킨더테일즈에서 같은 토큰 수를 읽혀도 한 편을 되풀이한 루나는 바로 묻기가 13~25%, 서로 다른 천 편을 읽은 루나는 38~75% 였죠. 그리고 중복 제거가 막는 것은 평균 점수가 아니에요. 리와 동료들의 C4 에서처럼 같은 글을 수만 번 읽은 모델은 그 글을 그대로 베껴 내놓고, 학습 글에 시험 문항과 같은 글이 섞이면 시험이 시험이 아니게 돼요. 그래서 중복 제거는 점수를 올리려고 하는 일이 아니라 데이터를 받을 때마다 하는 검사예요. 다만 무엇을 중복으로 볼지는 늘 확인해야 해요. 물음이 같다고 지우면 대화 수만 줄어 루나가 나빠졌죠.
혼동하기 쉬운 점
| 혼동 | 바로잡기 |
|---|---|
| 루나가 Tim 을 많이 쓰는 건 마지막에 읽은 대화 때문이다 | 루나 말투 대화의 1등은 Sam 이고, 그 대화의 이야기에는 사람 이름이 거의 없다. 루나의 Tim 24.7% 는 타이니스토리즈의 24.6% 에서 왔다 |
| 첫 물음이 같은 대화는 중복이다 | 답이 다르면 같은 것을 다른 말로 말한 연습이다. 지우면 대화 수가 줄어 개발 답 손실이 나빠졌다 |
| 이름 나오는 이야기를 더 넣으면 이름 쏠림이 풀린다 | 이름 그대로 넣은 판은 Tim 이 26.8~31.1% 로, 넣기 전(25.7~30.8%)과 같았다. 가져온 이야기가 Tim 에 쏠려 있기 때문이다 |
| 이름을 바꿔 쓰면 이야기가 어색해진다 | 이름만 바꾸고 성별을 지키면 이야기의 줄거리와 문장은 바뀌지 않는다. 개발 답 손실은 이름 그대로 판과 같았다 |
요약
- 생성한 데이터에는 쓰는 모델이 자주 고르는 것이 쏠려 들어간다. 타이니스토리즈(GPT-4)는 처음 나오는 이름의 24.6% 가 Tim, 11.8% 가 Lily 이고, 딥시크의 루나 말투 대화는 Sam 이 1등이다.
- 쏠림은 루나에게 옮는다. 루나 말투 대화의 이야기에는 사람 이름이 거의 없어서, 루나의 이야기 속 이름은 프리트레인(271만 편)을 따라 Tim 이 24.7% 다.
- 중복은 정확한 것(글자가 같음)과 거의 같은 것(낱말 다섯 개 조각의 자카드 유사도 0.7 이상, MinHash 로 후보를 찾음)을 따로 찾는다. 루나 말투 대화에서는 1.1% 와 2.8% 였고, 지운 판은 그대로 판과 점수가 같았다.
- 같은 물음에 답이 다른 대화는 중복이 아니다. 물음당 둘로 줄이면 같은 수를 무작위로 줄인 것만큼 개발 답 손실이 나빠졌다.
- 이야기는 그대로 두고 이름만 같은 성별 안에서 고르게 바꿔 쓴 이야기 대화 1,500 개를 더하자, 루나 이야기의 Tim 이 0.6~7.3% 로 줄고 서로 다른 이름이 두 배쯤 늘었다. 이름을 그대로 둔 같은 이야기로는 바뀌지 않았다.
- 이름 둘을 맞바꾼 이야기에서 답의 이름이 같이 바뀌는 것(등변성)은 고치기 전 루나도 552 쌍 모두에서 지켰다. 이름이 없는 자리에서 이름을 고르게 내는 것(불변성)은 바꿔 쓴 데이터가 가르쳤다(「named」 다음의 Tim 81~85% → 3.1~4.7%). 루나에게 이름은 성별을 함께 지닌 이름표여서, 바꿔 쓰기는 같은 성별 안의 치환으로 한다.
루나 설정서 점검
| 새 설정서의 줄 | 이번 장 | 아직 빈 것 |
|---|---|---|
| 1. 다섯 살처럼 말하고 생각한다 | 이야기를 해 달라면 여러 아이 이름으로 이야기를 지어 준다 | 산수는 아직 못 한다. 따로 가르쳐야 한다 |
| 4. 세상을 궁금해하고 물어본다 | 루나 말투 대화 12,740 개(중복 제거 + 이름 바꿔 쓴 이야기)를 고쳐 놓았다 | 루나가 먼저 묻는지는 아직 측정하지 않았다 |
| 5. 가족을 사랑한다 | (이 장에서는 손대지 않았다) | 킨더테일즈 이야기로는 Daddy 와 Mommy 를 답하지만, 대화 속에서 자기 Daddy 를 말하는지는 아직 측정하지 않았다 |
| 6. 모르면 모른다고 한다 | 중복을 지워도 「모르면 모른다」 대화 1,757 개가 남았다 | 루나가 실제로 「모른다」고 답하는지는 측정하지 않았다 |

이제 루나 이야기에 Tim 말고 다른 아이들도 나와. 데이터만 고쳤는데.

수 낱말 쏠림은 그대로지만, 이름은 확실히 풀렸어.
막힌 곳
이름의 쏠림은 데이터로 풀었지만, 수 낱말의 쏠림(one 이 61%)은 이야기 이름을 바꿔 쓰는 방법으로는 풀리지 않았다.