1. DPO 맛보기 — 한 줄 수식이 하는 일

DPO 손실: 레퍼런스 대비 선호 마진을 벌린다

나쁜 예로 나쁜 답에서 멀어지고, KL 목줄로 레퍼런스 근처에 머문다. 이 두 걸음을 손실 하나에 어떻게 담을까? 두 걸음을 합치는 세 번째 걸음이 DPO다.

역사: 2023년의 지름길

DPO는 2023년 스탠퍼드 대학의 라파일로프(Rafael Rafailov), 샤르마(Archit Sharma), 미첼(Eric Mitchell), 에르몬(Stefano Ermon), 매닝(Christopher Manning), 핀(Chelsea Finn)이 발표했다. 논문 첫머리에 적힌 고민은 이렇다. 사람이 쓴 방대한 글로 학습한 언어모델은 사람들의 절반이 믿는 흔한 오해까지 배운다. 모델이 그 오해를 아는 것은 괜찮지만, 그 오해를 묻는 질문의 절반에서 오해가 옳다고 답해서는 안 된다. 모델이 이미 가진 넓은 지식 가운데 바라는 답과 행동을 골라내야 한다는 것이다. 데이터를 그대로 흉내 내는 학습만으로는 이 골라내기가 되지 않는다. 당시 골라내는 방법은 여러 단계를 거쳤고, 논문은 그 절차를 「복잡하고 자주 불안정하다」고 적었다. 연구진은 같은 목표를 분류 문제처럼 간단한 손실 하나로 풀 수 있음을 보였다. 논문은 그해 NeurIPS에 실렸고, 학회가 뽑은 우수 논문 준우승(Outstanding Main Track Runner-Up) 두 편 가운데 하나가 되었다. 이름의 "직접(Direct)"은 보상 모델을 따로 학습하는 단계를 거치지 않는다는 뜻이다. 그 단계가 무엇이었는지는 이 장 끝에서 다시 묻는다.

한 줄 수식

$\textcolor{#e000a5}{y_w}$는 선호 응답(winner), $\textcolor{#e000a5}{y_l}$은 비선호 응답(loser)이다. 한국어로 읽으면:

1. $\textcolor{#1565c0}{\Delta_\theta}$ — 지금 모델이 좋은 답과 나쁜 답 사이에 두는 차이. 선호 마진이라 부르자.
2. $\textcolor{#6f6f78}{\Delta_\text{ref}}$ — 레퍼런스 모델이 두던 선호 마진.
3. $\textcolor{#d9670b}{z} = \textcolor{#1565c0}{\Delta_\theta} - \textcolor{#6f6f78}{\Delta_\text{ref}}$ — 레퍼런스보다 마진을 얼마나 더 벌렸는가. 이 값을 $\textcolor{#d9670b}{z}$ 라 부르자.
4. 이 값을 시그모이드 $\sigma$(시그마)에 넣고 $-\log$를 취한다. 더 벌렸으면 손실이 작고, 오히려 좁혔으면 손실이 크다.
5. $\textcolor{#827717}{\beta}$는 KL 강도, 곧 레퍼런스 쪽으로 당기는 목줄이다. $\textcolor{#827717}{\beta}$ 를 키우면 목줄이 길어질까, 짧아질까? 괄호 앞에 곱해진 $\textcolor{#827717}{\beta}$ 가 모델을 얼마나 멀리 보내는지는 아래 문제 6에서 계산해 본다.

로그확률의 눈금 위에 올려 보면 이 구호가 그림이 된다. 레퍼런스가 "서울"과 "부산"에 0.5와 0.25를, 학습 모델이 0.6과 0.1을 주는 쌍이다. 두 점 사이의 간격이 각 모델의 선호 마진이고, 학습 모델의 간격 가운데 레퍼런스의 간격을 넘어선 부분이 $\textcolor{#d9670b}{z}$ 다.

가장 짧은 예제

학습을 막 시작한 순간을 보자. 모델은 아직 레퍼런스와 똑같다($\textcolor{#1565c0}{\pi_\theta} = \textcolor{#6f6f78}{\pi_\text{ref}}$). 그러면 $\textcolor{#1565c0}{\Delta_\theta} = \textcolor{#6f6f78}{\Delta_\text{ref}}$이고, 괄호 안은 0이다.

손실이 0이 아니다. 레퍼런스와 똑같이 구분하는 것은 "잘하는 것"이 아니라 "출발선"이다. 레퍼런스가 이미 90 대 10으로 구분하던 쌍이라면, 지금 모델도 90 대 10이면 아직 한 일이 없다.

그렇다면 흔히 하는 요약 — “좋은 답의 확률은 올리고 나쁜 답은 내린다” — 은 이 손실을 제대로 말하는가? 좋은 답과 나쁜 답의 확률이 함께 움직이면 손실은 어느 쪽으로 갈까? 아래 문제들에서 따져 보자.

문제 4 — 떡볶이가 끼어든 급식 투표

짜장면이 60표에서 30표로 반토막 났으니 인기가 떨어졌죠.

민준 학생, 물은 건 짬뽕에 견주어서예요. 짬뽕은 어떻게 됐죠?

짬뽕도 20표에서 10표로 반이에요. 작년에도 올해도 짜장면이 짬뽕의 세 배네요. 떡볶이가 둘에게서 똑같은 비율로 표를 가져갔을 뿐이고요.

(나)면 짜장면이 짬뽕의 여섯 배야. 짜장면 표는 줄었는데 짬뽕보다는 오히려 더 앞선 거지.

그래요. "몇 표가 줄었나"와 "상대의 몇 배인가"는 서로 다른 물음이에요.

정리 (가) 아니다. 작년 60 : 20도, 올해 30 : 10도 3배다. 떡볶이가 두 메뉴의 표를 같은 비율로 가져갔다. (나) 30 : 5는 6배라서 짜장면이 짬뽕보다 더 앞선다. 짜장면 표 자체는 줄었어도 그렇다.

문제 5 — 둘 다 반으로 떨어지면

정답 확률이 0.6에서 0.3으로 반토막 났으니 손실이 커졌겠죠. 학습이 뒤로 간 거잖아요.

민준 학생, 손실 식에 들어가는 건 "서울"의 확률 하나인가요?

아니요, $\textcolor{#1565c0}{\Delta_\theta} - \textcolor{#6f6f78}{\Delta_\text{ref}}$ 요. $\textcolor{#1565c0}{\Delta_\theta} = \log(0.3/0.1) = \log 3$ 이고 $\textcolor{#6f6f78}{\Delta_\text{ref}} = \log(0.6/0.2) = \log 3$…

똑같네요. 괄호 안이 0이라 손실은 $-\log\sigma(0) \approx 0.693$, 학습을 시작할 때와 같아요.

둘 다 반이 되면 비율은 3 대 1 그대로니까. 로그확률의 차이는 두 확률의 비율만 보고, 둘이 함께 얼마나 올라가고 내려갔는지는 못 봐.

그럼 (나)는요? 이 손실이 "서울"의 확률 자체를 지켜 주나요?

못 지켜요. 서울과 부산이 같은 비율로 계속 떨어져도 손실은 그대로예요. 0.03과 0.01로 떨어져도 같아요. 선호 쌍 바깥의 다른 답으로 확률이 새어 나가도 이 손실은 모르는 거예요.

아까 급식 투표 문제랑 같네요. 짜장면 표가 반으로 줄어도 짬뽕보다 세 배 인기인 건 그대로였잖아요.

정리 (가) $\textcolor{#1565c0}{\Delta_\theta} = \log(0.3/0.1) = \log 3 = \textcolor{#6f6f78}{\Delta_\text{ref}}$ 이므로 $\textcolor{#d9670b}{z} = 0$, 손실은 $-\log\sigma(0) = \log 2 \approx 0.693$ 으로 학습을 시작할 때와 같다. (나) 막지 못한다. DPO 손실은 좋은 답과 나쁜 답의 확률의 비율만 보므로, 둘이 같은 비율로 줄어 확률이 선호 쌍 바깥으로 새어 나가도 손실은 변하지 않는다.

문제 6 — β가 크면 목줄은

서연 학생, (가)부터 볼까요. 같은 $\textcolor{#d9670b}{z} = 2$ 인데 손실이 같던가요?

$\textcolor{#827717}{\beta} = 0.1$ 이면 σ 안이 0.2라서 $-\log\sigma(0.2) \approx 0.598$, $\textcolor{#827717}{\beta} = 1$ 이면 $-\log\sigma(2) \approx 0.127$ 이에요. β가 괄호 앞에 곱해지니까, 마진을 조금만 벌려도 σ 안의 값이 커져서 손실이 금방 0에 가까워져요. 그러니까… 조금만 움직여도 만족하니까 레퍼런스 근처에 머물 거예요.

난 반대로 생각했어. β가 크면 그래디언트도 β배로 커지니까 더 많이 움직이지 않을까?

둘 다 식의 한 부분씩을 보고 있어요. 민준 학생, (나)를 계산해 보죠. 손실을 0.2까지 낮추려면 $\textcolor{#d9670b}{z}$ 가 얼마나 필요해요?

$-\log\sigma(\textcolor{#827717}{\beta}\textcolor{#d9670b}{z}) = 0.2$ 면 $\sigma(\textcolor{#827717}{\beta}\textcolor{#d9670b}{z}) = e^{-0.2} \approx 0.819$ 라서 $\textcolor{#827717}{\beta}\textcolor{#d9670b}{z} \approx 1.51$ 이에요. $\textcolor{#827717}{\beta} = 1$ 이면 $\textcolor{#d9670b}{z} \approx 1.5$, $\textcolor{#827717}{\beta} = 0.1$ 이면 $\textcolor{#d9670b}{z} \approx 15$…

큰 β는 1.5만 벌리면 끝나요. 거기서부터는 σ가 1에 붙어서 −log σ의 기울기도 0으로 사라지니까, 처음 몇 걸음만 크고 금방 멈춰요. 작은 β는 15까지, 확률의 비율로 치면 레퍼런스보다 약 350만 배를 더 벌려야 하고요.

그래요. 그래서 큰 β는 "짧은 목줄"이에요. 레퍼런스 근처의 작은 차이로도 손실이 채워지니까요. 작은 β는 그 반대고요. KL로 묶은 RL의 최적 정책 π* ∝ π_ref·exp(R/β) 에서도 보여요. β가 크면 지수가 0에 가까워져 π*가 π_ref 에 붙거든요.

리포트 분량 제한 같네요. 제한이 빡빡하면 금방 다 채우고 더 쓸 게 없는.

정리 (가) $\textcolor{#827717}{\beta} = 0.1$: $-\log\sigma(0.2) \approx 0.598$, $\textcolor{#827717}{\beta} = 1$: $-\log\sigma(2) \approx 0.127$. (나) $\textcolor{#827717}{\beta}\textcolor{#d9670b}{z} \approx 1.51$ 이어야 하므로 $\textcolor{#827717}{\beta} = 1$ 이면 $\textcolor{#d9670b}{z} \approx 1.5$, $\textcolor{#827717}{\beta} = 0.1$ 이면 $\textcolor{#d9670b}{z} \approx 15.1$. (다) 큰 $\textcolor{#827717}{\beta}$ → 작은 마진 변화로도 손실이 포화 → 레퍼런스 근처에 머문다(짧은 목줄). 작은 $\textcolor{#827717}{\beta}$ → 멀리 가야 손실이 줄어든다(긴 목줄).

문제 7 — (킬러) 확률은 올랐는데

앞에서 배웠죠, 손실은 비율만 봐요. 지금 모델은 서울이 부산의 0.8/0.1 = 8배예요. 8배나 앞서니까 잘 구분하는 거고, 손실은 0.693보다 작아요.

민준 학생, 손실 식에서 그 8배는 무엇과 견주어지죠?

Δ_θ − Δ_ref 니까… 레퍼런스의 비율과요. 레퍼런스는 0.5/0.01 = 50배였네요.

50배이던 격차를 8배로 줄인 거네. 확률의 "차이"로 보면 서울은 0.3이나 오르고 부산은 0.09만 올라 개선처럼 보이지만, 비율로 보면 서울은 0.5 → 0.8로 1.6배, 부산은 0.01 → 0.1로 10배 올랐어.

부산이 열 배? 0.09밖에 안 올랐는데?

원래가 0.01이었으니까. Δ_ref = log(0.5/0.01) = log 50 ≈ 3.91. Δ_θ = log(0.8/0.1) = log 8 ≈ 2.08. 뺄셈하면 −1.83이야.

그럼 손실은요?

σ 안이 음수니까 0.5보다 작고, 손실은 0.693보다 커요. 개선이 아니라 후퇴예요.

그런데 선생님, 반대로 레퍼런스가 부산에 0.0001을 줬다면 0.001로만 올라도 10배잖아요. 그렇게 작은 확률 변화에 이렇게 민감한 게 맞나요?

좋은 질문이에요. 그 민감함이 DPO의 힘이자 약점이에요. 로그 눈금에서는 작은 확률일수록 조금만 움직여도 크게 변하니까, 거의 안 나오던 답 하나가 손실을 좌우할 수 있어요.

학점 평균 같네요. 원래 C 받던 과목이 B로 오르는 거랑, A 받던 과목이 A+로 오르는 거랑 체감이 다른.

정리 $\textcolor{#6f6f78}{\Delta_\text{ref}} = \log(0.5/0.01) \approx 3.91$, $\textcolor{#1565c0}{\Delta_\theta} = \log(0.8/0.1) \approx 2.08$, 레퍼런스보다 더 벌린 마진 $\textcolor{#d9670b}{z} = \textcolor{#1565c0}{\Delta_\theta} - \textcolor{#6f6f78}{\Delta_\text{ref}} \approx -1.83$. 손실은 0.693보다 크다. 로그는 차이가 아니라 비율을 본다 — 부산은 10배, 서울은 1.6배 올랐다.