20. DDPO — 디퓨전의 정책 그래디언트

DDPO 추정기: REINFORCE와 PPO를 스텝 위에

스텝마다 로그확률이 정확히 계산된다면, 기대값 속의 그래디언트는 샘플로 어떻게 추정할까? 이미지 한 장을 생성하는 데 수십 스텝이 드니, 한 번 생성한 경로를 한 번만 쓰고 버리기에는 아깝다.

DDPO 논문은 이 그래디언트를 두 가지 방식으로 추정했다. 둘 다 언어모델의 RL에서 익숙한 방식이다.

프롬프트별 보상을 평균과 표준편차로 정규화하는 것은 REINFORCE의 베이스라인이자, GRPO가 "그룹 정규화"라는 이름으로 전면에 내세운 그것이다. 비평가(상태마다 앞으로 받을 보상을 예측하는 가치 모델)는 쓰지 않았다. REINFORCE는 정책 그래디언트 식의 기대값을 뽑은 샘플 몇 개의 평균으로 바꿔 계산하는 가장 기본 꼴이다.

아래는 1차원짜리 장난감 디퓨전을 DDPO_SF(REINFORCE + 그룹 평균 베이스라인 — 그룹은 같은 프롬프트에서 뽑은 샘플 묶음)로 학습시키는 위젯이다. 선 하나가 이미지 하나의 디노이징 경로다. 처음 화면은 진짜 보상으로 20번 학습한 상태다. 「처음으로」를 누르면 학습 전으로 돌아간다.

ML에서: 무엇을 보상으로 썼나

실험에 쓴 보상도 눈여겨볼 만하다: 이미지 압축률(JPEG로 압축한 파일 크기 — 미분할 수 없다), 미학 점수(LAION이 공개한 미학 예측 모델의 점수), 그리고 이미지를 보고 글을 쓰는 비전-언어 모델(VLM, 여기서는 LLaVA)이 이미지를 설명한 문장과 프롬프트가 뜻으로 얼마나 가까운지(BERTScore)로 매긴 프롬프트 정합도. 마지막 것은 사람 라벨을 더 모으지 않고 다른 AI 모델의 피드백으로 정렬(사람이 바라는 방식으로 출력을 맞추기)한 사례다. 논문은 언어모델을 AI 피드백으로 다듬는 방법(RLAIF)에서 착안했다고 적었다.

이 보상들은 쌍비교 없이 점수만 준다. 디퓨전을 정렬하는 다른 두 방법과 나란히 놓으면 차이가 드러난다. Diffusion-DPO는 선호 이미지 쌍에 순방향으로 노이즈를 입혀 노이즈 복원 오차로 DPO를 하고, D3PO는 모델이 생성한 경로를 기록해 두고 사람의 선호 표시로 스텝마다 DPO를 한다.

문제 6 — 이미 아는 두 알고리즘

DDPO_IS는 한 번 뽑은 경로로 업데이트를 여러 번 해요. 두 번째 업데이트 때, 그 경로는 누가 만든 경로죠?

같은 모델이요. 방금 뽑았으니까요. 그래서 그냥 여러 번 써도 되는 거고요.

첫 업데이트 뒤엔 θ가 바뀌었잖아. 경로를 만든 건 $\textcolor{#6f6f78}{p_\text{old}}$고 지금 정책은 $\textcolor{#1565c0}{p_\theta}$야.

아, 방금 뽑은 샘플이 한 번 업데이트하자마자 "남이 만든 샘플"이 된 거구나. 그래서 비율 $\textcolor{#1565c0}{p_\theta} / \textcolor{#6f6f78}{p_\text{old}}$로 보정하고, 너무 멀어지면 클리핑하고. PPO예요.

그래요. 그럼 DDPO_SF는요?

$\textcolor{#d9670b}{R} \cdot \nabla \log \textcolor{#1565c0}{p_\theta}$ 그대로 한 번 쓰고 버리니까 REINFORCE요.

초안에 받은 조교님 피드백을 수정본에 그대로 적용하면 안 맞는 데가 생기는 거랑 같네요. 글이 바뀌었으니 피드백도 다시 맞춰 봐야 하고요.

정리 DDPO_SF = REINFORCE, DDPO_IS = PPO식 임포턴스 비율 + 클리핑. 비율이 정책 변화를 보정하므로 한 번 생성한 경로로 여러 번 업데이트할 수 있다.