6. DPO의 재등장 — 보상 모델을 수식으로 지우다

자주 하는 실수와 요약

자주 하는 실수

요약

KL로 묶은 보상 최대화의 최적해는 레퍼런스에 보상의 지수 인자를 곱해 다시 맞춘 $\textcolor{#2e7d32}{\pi^*} \propto \textcolor{#6f6f78}{\pi_\text{ref}}\, e^{\textcolor{#d9670b}{r}/\textcolor{#827717}{\beta}}$ 다. 이것을 뒤집으면 보상이 $\textcolor{#827717}{\beta}\log(\textcolor{#2e7d32}{\pi^*}/\textcolor{#6f6f78}{\pi_\text{ref}})$ 에 프롬프트만의 상수 $\textcolor{#827717}{\beta}\log \textcolor{#cc00ff}{Z}(\textcolor{#0093b8}{x})$ 를 더한 것으로 적히고, 같은 프롬프트의 두 응답을 Bradley-Terry로 비교하면 그 상수가 사라져 보상 모델 없이 정책만으로 쓴 손실, 곧 DPO가 남는다. 프롬프트가 다른 응답끼리는 그 상수가 남으므로 비교할 수 없다. DPO의 그래디언트는 암묵적 보상이 틀린 정도 $\textcolor{#8e44ad}{\sigma(-\beta z)}$ 로 쌍마다 가중되는데, $\textcolor{#827717}{\beta}$ 가 작으면 모든 쌍을 비슷하게, 크면 틀린 쌍을 골라 민다. 손실은 절대 확률이 아니라 레퍼런스 대비 마진을 본다. 목적함수와 선호 모델은 지켰지만 생성 루프를 버렸으므로, 데이터에 없는 응답의 확률은 손실이 통제하지 못한다.