15. 실전사례 — 현장의 목소리, JoyCaption의 DPO 실전기

마진 기반 필터링: 양 끝을 골라 쌍을 만든다

좋은 쌍의 조건을 알아도, 모델이 스스로 뽑은 응답을 아무렇게나 짝지으면 그런 쌍이 얼마나 나올까? JoyCaption의 첫 시도가 바로 이 물음에 걸려 넘어졌다.

첫 번째 시도의 실패 — 약한 예제의 함정

첫 시도에서는 프롬프트마다 응답을 두 개 뽑아 심사 모델에게 어느 쪽이 나은지 고르게 했다. 이렇게 약 1만 쌍을 만들어 DPO를 돌렸다. 학습이 되는지는 보상 정확도로 봤다. DPO에는 보상 모델이 따로 없지만, 학습 중인 모델이 레퍼런스보다 그 응답의 확률을 얼마나 올렸는지가 보상 구실을 한다. 이것을 암묵적 보상이라 부른다.

보상 정확도는 선호 응답 $\textcolor{#e000a5}{y_w}$ 의 암묵적 보상이 비선호 응답 $\textcolor{#e000a5}{y_l}$ 보다 높은 쌍의 비율이다(JoyCaption 학습 코드가 기록하는 rewards/accuracies). 학습을 시작할 때는 $\textcolor{#1565c0}{\pi_\theta} = \textcolor{#6f6f78}{\pi_\text{ref}}$ 라 모든 보상이 0이고, 모델이 두 응답을 가르는 법을 배울수록 오른다. 아무렇게나 찍으면 50%다.

첫 시도의 보상 정확도는 하이퍼파라미터를 아무리 바꿔도 약 60%에서 더 오르지 않았다. 찍는 것보다 조금 나은 수준이다. 데이터셋을 직접 열어 보니 대부분의 쌍이 비슷비슷했다. 모델이 이미 잘하는 영역에서는 좋은 답 두 개가, 못하는 영역에서는 비슷하게 나쁜 답 두 개가 나왔다. 같은 쌍을 다른 심사 모델로 다시 판정해 보니 심사 모델끼리 일치하는 비율이 낮았다. 두 응답의 질이 비슷하다는 뜻이다. 게다가 심사 모델들이 순서에 합의하더라도 차이가 미미하면 모델이 그 쌍에서 배울 것도 적다. 제작자의 표현으로 모델은 「갈 방향을 잡지 못하고 이리저리 흔들리기만」 했다. 마진을 벌려야 DPO가 배운다는 것이 현장에서 그대로 드러난 것이다.

해결: 점수를 매기고 양 끝을 묶는다

개발자는 심사 방식을 바꿨다. 둘 중 어느 쪽이 나은지만 고르게 하던 것을, 두 응답 각각에 1–10점도 매기게 했다. 이제 점수가 가까운 쌍을 버리고 마진이 넓은 쌍만 남길 수 있다. 그러자 새 문제가 생겼다. 대부분의 쌍이 마진이 좁아 버려졌고, 쓸 만한 쌍 하나를 얻으려고 심사 모델을 여러 번 불러야 해서 비용이 커졌다.

그래서 값싼 첫 거름을 앞에 두었다. 한 프롬프트에 응답을 10개 뽑아 심사 모델에게 한 번에 순위를 매기게 하고, 맨 위와 맨 아래의 두 응답을 쌍 후보로 삼았다. 이 후보만 원래의 두 응답 심사에 보내 점수와 마진을 확인했다. 10개 중 양 끝을 고르면 마진이 저절로 커지고, 예제 1 같은 (8점 vs 7점) 쌍은 애초에 후보가 되지 않는다.

위 그림은 한 프롬프트의 응답 10개에 점수를 지어 붙인 예다. 아무 둘이나 고르면 붙어 있는 두 점이 걸리기 쉽고, 양 끝을 고르면 늘 가장 먼 두 점이 걸린다. 아래 위젯은 프롬프트 400개로 같은 일을 되풀이해 마진의 분포를 비교한다.

이 과정에서 그는 헛발질도 따로 캤다. 같은 구절을 되풀이하는 응답을 골라내는 규칙 기반 검출기를 만들어, 반복 루프에 빠진 응답과 멀쩡한 응답이 짝지어진 쌍을 먼저 골랐다. 헛발질을 없애는 것이 강화학습을 쓴 주된 목적이었기 때문이다. 이렇게 다시 만든 데이터셋으로 두 번째 시도를 하자 보상 정확도는 평가용 데이터에서 76%까지 올랐다.

결과는 다음과 같았다. 결함률은 헛발질(반복 루프나 쓸모없는 출력)의 비율이고, 선호율과 품질은 학습에 쓰지 않은 프롬프트로 앞 모델과 새 모델의 응답을 심사 모델에게 견주게 해서 쟀다.

문제 3 — 아무나 둘, 가장 큰 사람과 가장 작은 사람

(가)는 0 아니에요? 두 학생이 같은 분포에서 나왔으니까 평균끼리 빼면 0이요.

민준 학생, 문제는 "큰 학생 키 − 작은 학생 키"예요. 그럼 음수가 나올 수 있나요?

아… 큰 쪽에서 작은 쪽을 빼니까 항상 양수네요. 차이의 평균이 아니라 차이의 절댓값의 평균이었어요.

그건 공식이 있어. 독립인 두 정규분포의 차는 표준편차가 $6\sqrt{2}$ 인 정규분포고, 그 절댓값의 평균은 $2 \times 6 / \sqrt{\pi} \approx 6.8$cm.

(나)는 공식을 몰라서 40만 번 돌렸어. 열 명 중 최대 − 최소의 평균이 18.5cm쯤 나와.

공식과 시뮬레이션이 같이 있으니 좋네요. 2.7배 차이예요.

팀플 점수 차이를 물었는데 "평균적으로 다들 비슷해요"라고 답한 셈이었네요. 누가 더 잘했는지 따지는 순간 차이는 음수가 안 되는데.

정리 "큰 쪽 − 작은 쪽"은 늘 0 이상이므로 평균은 절댓값의 평균이다. (가) $2\sigma/\sqrt{\pi} = 2 \times 6/\sqrt{\pi} \approx 6.8$cm. (나) 약 18.5cm(시뮬레이션). 아무 둘이 아니라 양 끝을 고르면 차이가 약 2.7배가 된다.

문제 4 — 양 끝을 고르면 얼마나 벌어지나

아까 키 문제랑 같네요. 표준편차만 6에서 1.5로 줄었으니 전부 4로 나누면 돼요. (가)는 $2 \times 1.5/\sqrt{\pi} \approx 1.69$점, (나)는 $18.5/4 \approx 4.62$점.

좋아요. (다)는요?

후보를 절반으로 줄였으니 마진도 절반이겠죠. 2.3점쯤이요.

민준 학생, 후보가 2개일 때 양 끝 쌍의 마진은 얼마죠? 그리고 2개에서 10개로 다섯 배 늘렸을 때 마진은 몇 배가 됐죠?

후보가 2개면 양 끝이 곧 무작위 쌍이라 (가)의 1.69점이고… 다섯 배 늘렸는데 마진은 2.7배밖에 안 늘었네요. 후보 수에 비례하지 않아요.

맨 끝 값은 후보가 늘수록 점점 덜 늘어나. 정규분포는 꼬리로 갈수록 얇아서, 이미 끝에 가까운 값을 넘어서는 응답이 잘 안 나오니까. 표준정규분포 $n$개의 최댓값은 대략 $\sqrt{2\log n}$ 처럼 아주 느리게 자란다고 배웠어.

돌려 봤어요. 5개면 평균 마진이 3.49점이에요. 절반이 아니라 4분의 3쯤 남네요. 반대로 20개로 늘려도 5.60점이라 21%밖에 안 늘고요.

그래요. 그래서 "몇 개를 뽑을까"는 마진과 심사 비용을 맞바꾸는 선택이에요.

조원을 다섯 명에서 열 명으로 늘린다고 최고점과 최저점 차이가 두 배가 되지는 않는 거네요.

정리 (가) $2\sigma/\sqrt{\pi} \approx 1.69$점. (나) 약 4.62점(시뮬레이션). 후보를 많이 뽑아 양 끝을 고르는 것만으로 마진이 약 2.7배가 된다. (다) 아니다. 5개면 약 3.49점으로 4분의 3쯤 남는다(20개면 약 5.60점). 양 끝 마진은 후보 수에 비례하지 않고 아주 느리게 자란다. 위젯에서 N을 2, 5, 10으로 바꿔 확인해 보라.

문제 5 — (킬러) 심사 모델도 틀린다

민준이 40만 번 시뮬레이션한 결과를 띄운다.

(가) 관측 마진 평균은 4.35예요. 심사 점수로 골랐으니 진짜 마진도 4.35쯤이겠죠.

그런데 시뮬레이션 결과표에 진짜 마진도 있네요. 얼마죠?

2.18… 딱 절반이에요. 왜 반이나 줄지?

점수가 높은 걸 고르면 품질이 높은 것도 뽑히지만, 오차가 운 좋게 큰 것도 같이 뽑혀. $q$ 와 $n$ 의 분산이 같으니까, 관측된 $s$ 중에서 평균적으로 절반은 품질이고 절반은 오차야. $\mathbb{E}[q \mid s] = s/2$.

그러니까 제일 높게 채점된 응답은 "진짜로 좋은 것 + 운 좋게 후하게 채점된 것"이구나.

맞아요. 이걸 승자의 저주라고 해요. 그럼 (나). 서연 학생, 라벨이 틀린 쌍은 어느 쪽이 많을까요?

양 끝을 고를 때 오차가 극단인 것도 같이 골랐으니까, 라벨이 틀린 쌍도 극단 쌍 쪽에 더 많을 것 같아요. 노이즈를 일부러 모은 셈이니까요.

결과표의 뒤집힌 비율을 볼까요?

무작위 쌍은 25%, 양 끝 쌍은 2.8%예요.

반대네요. 오차를 모으긴 했지만, 품질 차이도 같이 커졌어요. 진짜 마진이 2.18이나 되면 오차가 그걸 뒤집을 만큼 크기가 어렵고요. 무작위 쌍은 진짜 마진이 0.8밖에 안 돼서, 오차 하나로 쉽게 뒤집히고요.

"오차가 섞였다"와 "라벨이 틀렸다"는 다른 문제였어요. 마진의 크기는 부풀려졌지만 부호는 오히려 더 믿을 만해졌네요.

그런데 "절반"은 어디서 왔죠? 심사 모델이 훨씬 정확해서 오차의 표준편차가 1이 아니라 0.5라면요?

절반은 $q$ 와 $n$ 의 분산이 둘 다 1이라서 나온 거예요. 일반적으로는 $\mathbb{E}[q \mid s] = \frac{\operatorname{Var} q}{\operatorname{Var} q + \operatorname{Var} n}\, s$ 니까, 오차 표준편차가 0.5면 $1/(1 + 0.25) = 0.8$. 점수의 80%가 품질이에요.

돌려 보면 관측 마진 3.44, 진짜 마진 2.75로 정말 0.8배예요. 뒤집힌 비율은 무작위 쌍 14.7%, 양 끝 쌍 0.09%로 둘 다 줄고요.

그래요. 얼마나 깎아 읽을지는 심사 오차가 품질의 흩어짐에 비해 얼마나 큰지가 정해요. 민준 학생은 크기를, 서연 학생은 부호를 잘못 짚었어요. 그럼 (다)는요?

마진 필터링은 라벨 노이즈를 줄여 주니까 좋아요. 대신 "관측 마진 9점"이라고 진짜 9점만큼 차이 나는 건 아니에요.

그리고 뒤집힌 비율이 0은 아니니까, cDPO처럼 "라벨이 틀렸을 확률 ε"을 두는 게 여전히 의미가 있어요. 무작위 쌍이면 ε이 25% 근처지만, 양 끝 쌍이면 3% 정도로 잡을 수 있겠네요.

통계 수업에서 배운 평균으로의 회귀랑 같아요. 첫 시험에서 1등 한 학생의 두 번째 점수는 평균적으로 조금 내려가죠. 실력이 준 게 아니라 첫 점수에 운이 섞여 있었으니까요.

나는 조교님이 "제일 잘 쓴 보고서랑 제일 못 쓴 보고서는 채점이 틀려도 순서는 안 바뀐다, 헷갈리는 건 중간이다"라고 했던 게 이제 이해돼.

정리 (가) 관측 마진 약 4.35, 진짜 마진 약 2.18 — 오차와 품질의 분산이 같으면 선택된 점수의 절반은 운이다(승자의 저주, $\mathbb{E}[q \mid s] = s/2$). 깎는 몫은 일반적으로 $\operatorname{Var} q / (\operatorname{Var} q + \operatorname{Var} n)$ 이고, 오차 표준편차가 0.5면 점수의 80%가 품질이다(관측 3.44, 진짜 2.75). (나) 라벨이 뒤집힌 쌍: 무작위 쌍 약 25%, 양 끝 쌍 약 2.8%. 오차가 섞였어도 품질 차이가 더 크게 벌어져 부호는 더 믿을 만해진다. (다) 마진 필터링은 라벨 노이즈를 크게 줄이지만 마진의 크기는 과대평가한다. 남은 노이즈는 cDPO의 ε으로 다룰 수 있고, ε을 쌍을 고른 방식에 맞춰 정해야 한다.