데이터를 고치다: 쏠림, 중복, 바꿔 쓰기

혼동하기 쉬운 점과 요약

토론 1. 중복을 지워도 점수가 그대로면 중복 제거는 쓸모없나

김민준 M06
김민준

중복을 지운 판이랑 그대로 판이 똑같았잖아. 그럼 안 지워도 되는 거 아니야?

이서연 S03
이서연

우리 데이터에서 지운 게 2.8% 였으니까 그런 거 아닐까? C4 에서는 한 문장이 6만 번 나왔다며.

선생님 T01
선생님

둘 다 맞아요. 지운 양이 적어서 우리 시험지로는 차이가 안 보였어요. 되풀이가 많으면 이야기가 달라요. 킨더테일즈에서 같은 토큰 수를 읽혀도 한 편을 되풀이한 루나는 바로 묻기가 13~25%, 서로 다른 천 편을 읽은 루나는 38~75% 였죠. 그리고 중복 제거가 막는 것은 평균 점수가 아니에요. 리와 동료들의 C4 에서처럼 같은 글을 수만 번 읽은 모델은 그 글을 그대로 베껴 내놓고, 학습 글에 시험 문항과 같은 글이 섞이면 시험이 시험이 아니게 돼요. 그래서 중복 제거는 점수를 올리려고 하는 일이 아니라 데이터를 받을 때마다 하는 검사예요. 다만 무엇을 중복으로 볼지는 늘 확인해야 해요. 물음이 같다고 지우면 대화 수만 줄어 루나가 나빠졌죠.

혼동하기 쉬운 점

혼동 바로잡기
루나가 Tim 을 많이 쓰는 건 마지막에 읽은 대화 때문이다 루나 말투 대화의 1등은 Sam 이고, 그 대화의 이야기에는 사람 이름이 거의 없다. 루나의 Tim 24.7% 는 타이니스토리즈의 24.6% 에서 왔다
첫 물음이 같은 대화는 중복이다 답이 다르면 같은 것을 다른 말로 말한 연습이다. 지우면 대화 수가 줄어 개발 답 손실이 나빠졌다
이름 나오는 이야기를 더 넣으면 이름 쏠림이 풀린다 이름 그대로 넣은 판은 Tim 이 26.8~31.1% 로, 넣기 전(25.7~30.8%)과 같았다. 가져온 이야기가 Tim 에 쏠려 있기 때문이다
이름을 바꿔 쓰면 이야기가 어색해진다 이름만 바꾸고 성별을 지키면 이야기의 줄거리와 문장은 바뀌지 않는다. 개발 답 손실은 이름 그대로 판과 같았다

요약

루나 설정서 점검

새 설정서의 줄 이번 장 아직 빈 것
1. 다섯 살처럼 말하고 생각한다 이야기를 해 달라면 여러 아이 이름으로 이야기를 지어 준다 산수는 아직 못 한다. 따로 가르쳐야 한다
4. 세상을 궁금해하고 물어본다 루나 말투 대화 12,740 개(중복 제거 + 이름 바꿔 쓴 이야기)를 고쳐 놓았다 루나가 먼저 묻는지는 아직 측정하지 않았다
5. 가족을 사랑한다 (이 장에서는 손대지 않았다) 킨더테일즈 이야기로는 Daddy 와 Mommy 를 답하지만, 대화 속에서 자기 Daddy 를 말하는지는 아직 측정하지 않았다
6. 모르면 모른다고 한다 중복을 지워도 「모르면 모른다」 대화 1,757 개가 남았다 루나가 실제로 「모른다」고 답하는지는 측정하지 않았다
김민준 M11
김민준

이제 루나 이야기에 Tim 말고 다른 아이들도 나와. 데이터만 고쳤는데.

이서연 S11
이서연

수 낱말 쏠림은 그대로지만, 이름은 확실히 풀렸어.

막힌 곳

이름의 쏠림은 데이터로 풀었지만, 수 낱말의 쏠림(one 이 61%)은 이야기 이름을 바꿔 쓰는 방법으로는 풀리지 않았다.