지금까지의 도구(정책 그래디언트, DPO, GRPO)는 모두 출력의 로그확률을 계산할 수 있는 텍스트 위에서 자랐다. 그런데 강화학습이 더 절실한 곳은 그림과 영상의 픽셀, 로봇 팔의 관절 각도, 자동차의 조향각처럼 출력이 연속값이고 좋은 답이 여럿인 곳이다. 좋은 출력이 여러 봉우리로 분산되어 있으면 평균 하나를 내는 모델은 어느 봉우리에도 없는 값을 낸다. 노이즈에서 출발해 출력을 조금씩 만들어 내는 디퓨전 모델은 여러 번 뽑으면 서로 다른 봉우리에 닿는다. 이 파트의 물음은 하나다: 앞의 도구들을 디퓨전 모델 위에서 쓰려면 무엇이 달라지는가?
24장: 디퓨전에서 DPO를 쓰려면: 로그확률의 벽
의문
이미지 생성 서비스에도 「같은 프롬프트로 만든 두 그림 가운데 어느 쪽이 나은가」를 선택한 기록이 수십만 건씩 쌓인다. 이 기록으로 디퓨전 모델을 DPO로 다듬으려면 각 그림의 로그확률 logπ(y∣x)가 필요하다(π는 정책, 곧 답을 내는 모델이다). 디퓨전 모델에서 그림 한 장의 로그확률을 구할 수 있는가?
디퓨전의 로그확률: 이미지는 계산하지 못해도 한 스텝은 계산한다
DPO는 선호 응답의 logπ(yw∣x)와 비선호 응답의 logπ(yl∣x)를 레퍼런스(학습 전 모델을 얼려 둔 기준)와 비교해, 두 로그확률 차의 마진을 벌린다. LLM에서는 응답의 로그확률이 토큰별 조건부 확률의 곱(= 로그의 합)이기 때문에 정확히 구할 수 있었다.
디퓨전 모델에서는 간단하지 않다.
거꾸로 한 스텝도 정규분포인가
디퓨전이 기대는 사실은 하나다. 정방향 한 스텝이 정규분포이고 스텝이 충분히 작으면, 거꾸로 가는 한 스텝도 정규분포로 적을 수 있다. 이 사실은 1949년 펠러(William Feller)가 확산 과정의 앞으로 방정식과 뒤로 방정식을 다듬은 연구에서 왔고, 2015년 졸-딕스타인(Jascha Sohl-Dickstein)과 동료들이 그 결과를 근거로 거꾸로 한 스텝의 평균과 분산을 모델에게 배우게 했다. 2020년 호(Jonathan Ho)와 동료들의 DDPM은 학습 목표를 바꿔 그림 품질을 끌어올렸다. 아래 그림은 두 봉우리 분포에서 한 스텝을 밟고 거꾸로 분포를 직접 계산한 것이다. 스텝이 작으면 거꾸로 분포가 같은 평균·분산의 정규분포와 겹치지만, 스텝이 크면 봉우리 둘로 갈라진다.
DDPM이 학습 목표를 무엇으로 바꿨는지는 이 절 끝에서 다시 본다. 아래 그림은 정방향 과정과 역방향 과정을 그림 한 장으로 나란히 놓은 것이다.
김민준
노이즈를 더해서 망가뜨렸으면, 거꾸로 갈 때는 더한 노이즈를 빼기만 하면 되는 거 아니에요?
선생님
위 그림의 큰 스텝을 보세요. 지금 xt = 0.1 이면, 한 스텝 전에는 어디에 있었을까요?
김민준
−1 근처일 수도 있고 +1 근처일 수도 있네요. 어떤 노이즈가 더해졌는지 모르니까 뺄 값을 하나로 못 정하겠어요.
선생님
그 그림은 앞 분포가 −1 과 +1 의 봉우리 둘이라는 걸 알고서 직접 계산한 거예요. 펠러가 다룬 확산은 상태가 숫자 하나였고요. 그림은 어때요?
이서연
그림은 픽셀마다 숫자가 하나씩이라 수만 개고, 그 그림들이 어떤 분포를 이루는지는 식으로 적을 수가 없어요.
선생님
그래서 거꾸로 한 스텝의 평균은 데이터에서 배워야 했어요. 1949년의 펠러에게는 그림 데이터도, 그 평균을 배울 모델도 없었죠. 2015년 졸-딕스타인과 동료들이 펠러의 결과를 근거로 들며 그 평균과 분산을 모델에게 배우게 했고요.
이서연
한 스텝씩은 정규분포라 해도, 그림 한 장의 확률은요? 노이즈에서 같은 그림까지 가는 길이 하나만 있는 건 아니잖아요.
디퓨전 논문들은 그림을 x로 적는 관습이 있어 이 장도 따르는데, 앞에서 프롬프트를 x, 응답을 y로 적던 것과 글자만 다르다. 이 장의 x0은 모델이 내놓은 그림, 곧 응답의 자리이고, xt는 스텝 t에서 노이즈가 섞인 그림이다.
이미지 한 장의 확률
계산
LLM (자기회귀)
P(y)=P(y1)P(y2∣y1)P(y3∣y1:2)⋯
각 항을 모델이 직접 출력한다. 곱하면 끝
디퓨전
p(x0)=∫p(x0,x1,…,xT)dx1⋯dxT
모든 중간 상태에 대해 적분해야 한다. 차원이 수만–수십만이라 식 하나로 정리해 풀 수 없다
차이의 핵심은 같은 이미지 x0에 도달하는 경로가 무수히 많다는 것이다. LLM에서는 문장 하나에 경로(토큰 순서)가 하나뿐이지만, 디퓨전에서는 서로 다른 노이즈 궤적들이 같은 그림으로 모인다.
완벽한 전체 적분은 어렵지만 한 스텝씩 분석하면 이야기가 달라진다. 어차피 현실의 이미지 모델은 수십 개의 이산 스텝으로 나눈 샘플러(노이즈에서 그림까지 가는 경로를 몇 스텝으로 나눠 밟는 계산법. 미분방정식을 한 스텝씩 가장 단순하게 푸는 오일러(Euler) 방법, 같은 학습으로 스텝 수를 크게 줄인 DDIM(Denoising Diffusion Implicit Models) 등)를 쓰니, 샘플러의 디노이징 스텝 하나하나를 보자.
한 스텝은 정규분포다
순방향 과정은 원래 스텝마다 정규분포를 따른다. 매 스텝 가우시안 노이즈를 더하기 때문이다: q(xt∣xt−1)=N(1−βtxt−1,βtI)(여기서 βt는 스텝 t 에서 더하는 노이즈의 양을 정하는 스케줄 값이다. DPO의 KL 강도 β(레퍼런스와의 KL 페널티 항에 곱하는 수)와는 글자만 같은 다른 기호다). 그런데 수학적으로 중요한 사실이 있다: 스텝이 충분히 작으면, 역방향 과정도 정규분포에 가깝다(Feller, 1949). 아주 작은 노이즈를 더했다면, 그 노이즈를 되돌리는 분포도 정규분포로 잘 근사된다.
θ는 모델의 파라미터, μθ의 μ는 평균, σt의 σ는 표준편차를 부르는 관례적인 글자다. 모델은 지금 그림 xt를 보고 한 스텝 전 그림이 있을 법한 자리 μθ를 찍고, 그 둘레에 폭 σt짜리 종을 씌운다. 실제 도착점 xt−1이 종의 어디에 떨어지느냐가 스텝 t의 확률이다.
실제로는 스텝이 꽤 듬성듬성해도 어느 정도 통한다. DDPM의 1000스텝에서 DDIM의 50스텝, 최근의 4–8스텝까지 줄여도 이미지가 나오는 이유다.
각 스텝이 정규분포이면 로그확률을 적분 없이 식 하나로(닫힌 형태로) 구할 수 있다. 필요한 것은 평균과 분산뿐이다.
분산이 작은 후반 스텝에서는 같은 오차도 로그확률에서 훨씬 큰 페널티를 받으므로, 후반일수록 모델의 예측이 정확해야 한다.
전체 경로의 로그확률은 스텝별 로그확률의 합이다: logpθ(x0:T)=∑tlogpθ(xt−1∣xt). LLM의 "토큰별 로그확률의 합"이 "타임스텝별 로그확률의 합"으로 바뀌었을 뿐이다. 다만 이것은 한 경로의 확률이고, 이미지 x0의 확률 p(x0)는 여전히 모든 경로의 적분이다. 그래서 디퓨전에서는 정확한 값 대신 하한(증거 하한 / evidence lower bound, ELBO: 로그확률보다 항상 작거나 같은, 계산할 수 있는 값)을 쓴다. ELBO는 머리글자를 이은 이름이고 「엘보」라고 읽는다. 「증거(evidence)」는 데이터의 로그확률 logp(x0)를 부르는 이름이라, 「증거의 아래쪽 경계」라는 뜻이다.
ML에서: DDPM은 스텝별 페널티의 무게를 일부러 버렸다
스텝 로그확률 식대로라면 그림의 로그확률(의 하한)은 스텝마다 다른 무게를 단 오차의 합이고, 후반 스텝일수록 무게가 크다. 앞의 역사에서 DDPM이 바꾼 학습 목표가 바로 이 무게다. 호와 동료들은 모델이 평균 μθ를 직접 내는 대신, 그림에 섞인 노이즈 ε을 맞히게 했다. 그리고 그 맞히기 오차를 스텝마다 똑같은 무게로 더한 단순한 손실로 학습했다. 논문의 설명으로는 이렇게 하면 노이즈가 아주 적은 스텝이 손실에서 차지하는 비중이 낮아져, 네트워크가 노이즈가 많은 더 어려운 스텝에 힘을 쏟는다. 정확한 로그확률을 따르는 것보다 그림이 더 좋았다. 디퓨전용 DPO 손실이 「타임스텝 가중치」를 상수에 흡수해 쓰는 것도 이 전통을 잇는다.
문제 1: 내일 기온 예보, 어느 쪽이 더 빗나갔나
날씨 앱이 같은 날의 최고 기온을 두 번 예보했다. 사흘 전 예보는 「20도, 오차 폭 3도」, 전날 예보는 「24.5도, 오차 폭 1도」였다(오차 폭은 그 예보가 보통 이만큼 빗나간다는 표준편차). 실제 최고 기온은 23도였다. 빗나간 정도를 페널티 (빗나간도수)2/(2×오차폭2)으로 평가하자. (가) 두 예보의 페널티는? (나) 어느 예보가 더 크게 빗나갔다고 봐야 하는가?
1/6이라고 해야 할 자리에 1/36을 말하는 거니까 여섯 배 작게 말하는 거예요. (1, 6)은 「합이 7」에 이르는 여섯 길 가운데 하나일 뿐인데, 그 하나를 결과 전체로 본 거고요.
선생님
합이 2일 때도 같은 실수가 문제가 될까요?
이서연
합이 2는 (1, 1) 하나뿐이라 길 하나의 확률이 결과의 확률과 같아요. 길이 여럿인 결과에서만 작게 말하게 되네요. 7이 길이 가장 많아서 가장 크게 차이 나고요.
정리 (가) 1/36. (나) 6/36 = 1/6. 합이 7이 되는 눈의 순서쌍 여섯의 확률을 모두 더한다. (다) 6배. 결과 하나(합 7)의 확률은 합 7에 이르는 모든 순서쌍의 확률을 더한 것이다.
문제 4: 경로의 확률 vs 이미지의 확률
두 스텝짜리 장난감 디퓨전을 생각하자. 순수 노이즈 x2에서 출발하면 중간 상태 x1은 u 또는 v가 각각 0.5의 확률로 나온다. 마지막 그림 x0은 u에서는 고양이 그림 A가 0.8, 개 그림 B가 0.2의 확률로, v에서는 A가 0.3, B가 0.7의 확률로 나온다. (가) 경로 x2 → u → A의 로그확률(스텝별 로그확률의 합)은? (나) 그림 A의 로그확률 logp(x0=A)는? (다) 실제 이미지 모델에서 (나)를 같은 방법으로 구하려면 무엇을 모두 더해야 하는가? 그렇게 모두 더하는 것이 가능한가?
김민준
(가)는 log 0.5 + log 0.8 ≈ −0.916이요. (나)는 주사위처럼 A로 가는 길을 다 더하면 0.4 + 0.15 = 0.55라서 log 0.55 ≈ −0.598. 경로 하나는 그림의 확률을 작게 말하네요.
선생님
좋아요. 그럼 실제 이미지 모델에서는요?
김민준
똑같이 하면 되죠. 경로를 몇 개 뽑아서 확률을 더하면 그림의 확률이 나와요.
선생님
장난감에서 x₁은 몇 가지였죠? 실제 모델에서 x₁은 어떤 값이에요?
이서연
장난감은 u, v 둘이었어요. 실제 디퓨전에서 x₁은 이미지와 같은 크기의 연속값이라… 같은 x0에 이르는 x1,…,xT가 무한히 많아요.
선생님
그럼 이미지의 확률은 경로 확률들과 어떤 관계죠?
이서연
장난감에서 두 길을 더했던 걸 연속으로 바꾸면 적분이요. p(x0)=∫p(x0:T)dx1:T. 경로 하나의 확률은 그 적분의 한 조각이고요.
선생님
민준 학생, x₁ 하나가 수만 차원의 연속값이면, 경로를 몇 개 뽑아야 그 적분을 다 덮을까요?
김민준
주사위는 여섯 길이었는데 여기는 셀 수가 없네요. 몇 개 더해서는 턱도 없겠어요. 장난감에서 셀 수 있던 합을 실제 모델에서도 셀 수 있다고 본 게 문제였어요.
선생님
그래요. 그래서 디퓨전에서는 정확한 값 대신 하한, ELBO를 써요.
정리 (가) log0.5+log0.8≈−0.916. (나) A로 가는 경로 둘의 확률을 더해 0.4+0.15=0.55, log0.55≈−0.598. 경로 하나의 로그확률은 그림의 로그확률이 아니다. (다) 중간 상태 x1,…,xT의 모든 경로를 더해야(적분해야) 하는데, 수만 차원의 연속값이라 셀 수 없다. 그래서 ELBO(하한)를 쓴다.