11. DPO의 재등장: 보상 모델을 수식으로 지우다

자주 하는 실수와 요약

자주 하는 실수

요약

KL로 묶은 보상 최대화의 최적해는 레퍼런스에 보상의 지수 인자를 곱해 다시 맞춘 $\textcolor{#2e7d32}{\pi^*} \propto \textcolor{#6f6f78}{\pi_\text{ref}}\, e^{\textcolor{#d9670b}{r}/\textcolor{#827717}{\beta}}$ 다. 최적해 식을 뒤집으면 보상이 $\textcolor{#827717}{\beta}\log(\textcolor{#2e7d32}{\pi^*}/\textcolor{#6f6f78}{\pi_\text{ref}})$ 에 프롬프트만의 상수 $\textcolor{#827717}{\beta}\log \textcolor{#cc00ff}{Z}(\textcolor{#0093b8}{x})$ 를 더한 것으로 적히고, 같은 프롬프트의 두 응답을 Bradley-Terry로 비교하면 그 상수가 사라져 보상 모델 없이 정책만으로 쓴 손실, 곧 DPO가 남는다. 프롬프트가 다른 응답끼리는 그 상수가 남으므로 비교할 수 없다. DPO의 그래디언트는 암묵적 보상이 틀린 정도 $\textcolor{#8e44ad}{\sigma(-\beta z)}$ 로 쌍마다 가중되는데, $\textcolor{#827717}{\beta}$ 가 작으면 모든 쌍에 비슷한 가중치를, 크면 틀린 쌍에 큰 가중치를 준다. 손실은 절대 확률 대신 레퍼런스 대비 마진을 본다. 목적함수와 선호 모델은 지켰지만 생성 루프를 버렸으므로, 데이터에 없는 응답의 확률은 손실이 통제하지 못한다.