22. 영상 생성 모델의 학습 — 시퀀스와 디퓨전 사이에서 무엇을 "강제"하는가

영상 모델의 강화학습: 보상이 들어오는 네 자리

셀프 포싱까지 오면서 영상 모델은 이미 자기 롤아웃 위에서 배우게 되었다. 보상 자리에는 「진짜 영상다움」이 앉아 있었다. 그렇다면 그 자리에 사람이 원하는 것 — 움직임이 크고 자연스러운가, 프롬프트와 맞는가, 인물이 끝까지 같은가 — 을 앉히면 어떻게 될까?

보상은 여러 축으로 갈라진다

이미지 한 장은 스칼라 하나로 평가할 수 있지만, 영상은 평가해야 할 축이 많다.

모든 축에서 동시에 이기는 영상은 드물다. 한 축을 올리면 다른 축이 내려가는 파레토 프론티어(어느 축을 올리려면 다른 축을 깎아야 하는 경계)의 문제가 그대로 돌아온다. 전체 시퀀스 영상 모델(HunyuanVideo 등)을 GRPO로 미세조정한 DanceGRPO(2025)가 여러 보상을 더하지 않고 보상별로 어드밴티지를 따로 계산해 합산한 것도 이 문제에 대한 한 가지 답이다. 모션 품질이 181%, 시각 품질이 56% 올랐다고 보고했다.

정체성 보존은 특히 까다롭다. 여러 사람이 등장하는 영상에서 전체 구도는 맞아도 얼굴이 뒤바뀌는 일이 흔하다. Identity-GRPO(arXiv:2510.14256, 2025년 10월, Alibaba)는 이 한 축을 위한 보상 모델부터 만들었다. 다섯 개 영상 생성 모델의 출력에 사람이 매긴 쌍비교 라벨과 합성 왜곡을 더한 약 1만 5천 개 규모의 선호 데이터로 "인물이 일관되게 유지되는가"를 판정하는 비디오 보상 모델을 학습하고(LLM의 보상 모델을 쌍비교로 학습하는 것과 같은 구조), 다중 인물 일관성에 맞춘 GRPO 변형으로 기존 모델(VACE, Phantom)을 미세조정했다. 정체성 일관성 지표에서 기준 모델 대비 최대 18.9%(VACE), 6.5%(Phantom) 향상을 보고했다.

네 자리

포싱 계보의 자기회귀 영상 모델에 보상이 들어오는 자리는 지금까지 네 가지다.

①은 오프라인 선호 쌍에서, ②·③은 셀프 포싱의 증류 손실에 보상을 얹는 식으로, ④는 온라인 강화학습으로 들어온다. ②가 흥미롭다. 역방향 KL이 이미 「$\log p_\text{data}$를 보상으로 한 강화학습」 꼴이었으니, 거기에 사람이 원하는 보상을 가중치(곱하는 수 — 신경망 파라미터가 아니다)로 얹는 것은 자연스러운 한 걸음이다.

문제 10 — 맛과 친절, 눈금이 다른 두 점수

더하면 가 75, 나 91, 다 64, 라 82. 나가 1등이요.

그런데 나는 친절이 1점이야. 네 곳 중 꼴찌인데 1등이 됐어. 친절 축은 순위에 거의 안 들어간 거 아니야?

서연 학생, 두 축에서 점수가 얼마나 퍼져 있죠?

맛은 60에서 90까지 30점, 친절은 1에서 5까지 4점이요. 그냥 더하면 맛 쪽이 일곱 배 넘게 크게 흔들리니까 순위는 거의 맛이 정해요. 친절 4점 차이가 맛 4점 차이와 똑같이 취급되고요.

(나)는 돌려 볼게요. 맛은 평균 75, 표준편차 11.18이라 가 −0.45, 나 1.34, 다 −1.34, 라 0.45. 친절은 평균 3, 표준편차 1.58이라 가 1.26, 나 −1.26, 다 0.63, 라 −0.63. 더하면 가 0.82, 나 0.08, 다 −0.71, 라 −0.19예요.

가가 1등이네요. 친절이 이제야 제 몫의 무게를 받았어요.

그래요. 영상의 보상도 축마다 눈금이 달라요. 그래서 DanceGRPO는 보상을 먼저 더하지 않고, 보상마다 그룹 안에서 어드밴티지를 따로 구해 합쳤죠.

과목마다 만점이 다른 시험을 원점수 대신 표준점수로 합치는 거랑 같네요.

정리 (가) 나(91점). 맛은 30점 폭으로, 친절은 4점 폭으로 퍼져 있어서 그냥 더하면 순위는 거의 맛이 정한다. (나) 축마다 평균을 빼고 표준편차로 나누면 맛 −0.45, 1.34, −1.34, 0.45, 친절 1.26, −1.26, 0.63, −0.63이고, 더하면 가 0.82, 나 0.08, 다 −0.71, 라 −0.19로 가가 1등이다. 축마다 퍼진 정도로 나눠야 눈금이 작은 축도 제 몫을 한다.