13. DPO의 진화 — 하나의 알고리즘이 낳은 가계도

KTO: 쌍 없이, 기준점과 견준다

링크 함수를 고쳐도 DPO를 돌리는 데 드는 비용은 그대로다. DPO의 데이터는 (프롬프트, 선호 응답, 비선호 응답) 세 개가 한 묶음이라, 같은 프롬프트에 대한 응답이 꼭 두 개 있어야 한다. 이런 짝은 모으기 어렵고 비싸다. 반대로 서비스에는 응답 하나에 "좋아요/싫어요"를 누른 기록이 쌓이지만, DPO는 이것을 그대로 쓰지 못한다. 응답 하나에 좋다·나쁘다만 붙어 있어도 배울 수는 없을까?

약점 3: 꼭 쌍이 필요하다 — KTO

2024년 에타야라지(Kawin Ethayarajh)와 동료들의 KTO(ICML 2024)는 응답 하나에 붙은 “좋다(1) / 나쁘다(0)” 한 비트로 배운다. 쌍이 없으면 비교할 상대가 없는데, KTO는 상대 대신 기준점과 견준다.

생각은 행동경제학의 전망 이론(prospect theory)에서 왔다. 사람은 결과를 재산의 총액이 아니라 기준점에서 얼마나 늘었나, 줄었나로 느끼고, 기준점에서 멀어질수록 같은 1만 원의 느낌이 무뎌진다. 그리고 같은 크기라면 손해를 이득보다 크게 느낀다(손실 회피). 트버스키(Amos Tversky)와 카너먼(Daniel Kahneman)이 1992년 돈을 거는 선택을 사람들에게 물어 잰 값으로는, 손해 쪽 기울기가 이득 쪽의 약 2.25배였다(KTO 논문이 인용한 값).

KTO에서 응답 하나가 얼마나 "올랐나"는 레퍼런스 대비 로그비율 $\log\frac{\pi_\theta(y)}{\pi_\text{ref}(y)}$ 로 잰다. DPO가 보상으로 읽던 바로 그 양이다. 숫자로 먼저 보자. 기준점을 0.5, 크기 계수를 1로 두고, 응답 넷의 "느낌 값"을 시그모이드로 매긴다. 좋은 응답은 로그비율이 기준점보다 높을수록, 나쁜 응답은 낮을수록 느낌 값이 1에 가깝다. 손실은 1 − 느낌 값이다.

마지막 칸의 그래디언트 가중치(곱하는 수 — 신경망 파라미터가 아니다)는 손실이 로그비율에 얼마나 민감한지다. 이미 기준점에서 멀리 바른 쪽에 있는 A와 C는 약하게 밀리고, 기준점 근처의 B와 거꾸로 올라간 D는 세게 밀린다. 짝이 없어도 응답마다 "기준점보다 얼마나 나은가"가 학습 신호(시그널)가 된다.

식으로 쓰면 다음과 같다.

글자는 KTO 논문을 따랐다. 기준점 $\textcolor{#993600}{z_0}$ 는 전망 이론에서 기준점을 부르는 글자이고, 이 장에서 DPO의 마진을 부르는 $z$ 와는 다른 양이다. 느낌 값 $\textcolor{#cc00ff}{v}$ 는 전망 이론의 가치 함수(value function)에서 왔다. λ는 전망 이론에서 손실 회피의 크기를 부르던 글자다.

KTO가 전망 이론에서 가져온 것은 기준점과, 멀어질수록 무뎌지는 모양이다. 손실 회피의 크기는 $\textcolor{#536020}{\lambda_D}$, $\textcolor{#536020}{\lambda_U}$ 로 따로 정한다. 논문의 기본값은 둘 다 1이고, 좋은 예가 $n_D$ 개, 나쁜 예가 $n_U$ 개면 $\textcolor{#536020}{\lambda_D} n_D / (\textcolor{#536020}{\lambda_U} n_U)$ 가 1에서 1.5 사이가 되게 맞추라고 권한다. 기준점 $\textcolor{#993600}{z_0}$ 를 정의대로 계산하려면 모델에서 응답을 뽑아야 해서 느리다. 그래서 실제로는 미니배치 안에서 프롬프트와 응답의 짝을 엇갈리게 맞춰 어림한다.

얻는 것과 잃는 것이 분명하다. 이미 쌓인 “좋아요/싫어요” 기록을 그대로 쓰고 쌍을 만드는 비용이 사라진다. 대신 같은 프롬프트의 두 응답을 나란히 놓고 견주는 쌍비교의 "상대적 우열"이라는 학습 신호를 포기한다.

문제 4 — 만 원을 잃는 아픔

반반이니까 1만 원보다 많이 따기만 하면 이득이죠. $x$ 는 1만 원 초과.

민준 학생, 그건 돈의 평균이에요. 이 사람의 느낌 값으로 평균을 내면요?

$0.5x - 0.5 \times 2 \times 10{,}000 \ge 0$ 이니까… 2만 원은 따야 응하네요.

(나)는 같은 95만 원인데 A는 +5만, B는 5만이 줄었으니 −10만이야. 금액보다 기준점이 느낌을 정하네.

조교 장학금도 그래요. 기대 안 했으면 10만 원도 신나는데, 20만 원 줄 줄 알았으면 10만 원은 서운하거든요.

정리 (가) $0.5x - 0.5 \times 2 \times 10{,}000 \ge 0$ → $x \ge 20{,}000$ 원. (나) A는 +5만, B는 −10만. 같은 결과도 기준점에 따라 이득이 되기도 손해가 되기도 하고, 손해는 더 크게 느껴진다.

문제 5 — 기준점이 올라가면

$\textcolor{#d9670b}{r_\theta}$ 가 그대로니까 손실도 그대로죠. (가)만 계산하면 돼요. 좋은 응답은 $\sigma(0.5 \times 2) = 0.731$ 이라 손실 0.269, 나쁜 응답은 $\sigma(0) = 0.5$ 라 손실 0.5.

민준 학생, 손실 식에서 $\textcolor{#d9670b}{r_\theta}$ 는 혼자 들어가나요, 무엇과 함께 들어가나요?

$\textcolor{#d9670b}{r_\theta} - \textcolor{#993600}{z_0}$ 로 들어가요… $\textcolor{#993600}{z_0} = 3$ 이면 좋은 응답은 $\sigma(0) = 0.5$ 라서 손실 0.5, 나쁜 응답은 $\sigma(0.5 \times 2) = 0.731$ 이라 손실 0.269. 뒤집혔네요.

나쁜 응답은 $\textcolor{#d9670b}{r_\theta} = 1$ 이면 레퍼런스보다 확률이 오른 건데, 모델 전체가 3만큼 움직였으니 상대로는 내려간 셈이네. 좋은 응답도 3만큼 올렸지만 다들 그만큼 움직였으면 평범한 거고.

그래요. (다)는요?

가중치는 $\textcolor{#cc00ff}{v}$ 가 0.5일 때 가장 커요. $\textcolor{#993600}{z_0} = 3$ 에서는 좋은 응답이 $0.5 \times 0.25 = 0.125$ 로 더 세게 밀리고, 나쁜 응답은 $0.5 \times 0.731 \times 0.269 \approx 0.098$ 로 덜 밀려요.

통계 수업의 표준점수랑 같네요. 원점수가 그대로여도 평균이 오르면 표준점수는 내려가요. 좋은 응답을 올렸다는 건 남들보다 더 올렸다는 뜻이어야 하는 거고요.

아까 계좌 문제랑 같네요. 95만 원은 그대로인데 기준점이 바뀌니까 느낌이 바뀌었잖아요.

정리 (가) $\textcolor{#993600}{z_0} = 1$: 좋은 응답 손실 0.269, 나쁜 응답 0.5. (나) $\textcolor{#993600}{z_0} = 3$: 좋은 응답 0.5, 나쁜 응답 0.269. $\textcolor{#d9670b}{r_\theta}$ 가 그대로여도 기준점이 오르면 좋은 응답은 덜 좋아 보이고 나쁜 응답은 덜 나빠 보인다. (다) 좋은 응답 0.125, 나쁜 응답 약 0.098. 기준점 근처에 있게 된 좋은 응답이 더 세게 밀린다.