생성 모델의 강화학습: 확률적 앵무새에서 스스로 진화하는 지능체로의 도약
- 서문
- 1. DPO 맛보기: 한 줄 수식이 하는 일
- 2. VPG: 미분할 수 없는 점수를 올리는 법
- 3. REINFORCE: 샘플로 추정하고, 베이스라인을 빼다
- 4. 마르코프 결정 과정: 지금만 보고 고르고, 앞날을 계산한다
- 5. 벨먼 방정식: 가치를 한 스텝씩 쪼개면 되풀이가 답에 모인다
- 6. 시간차 학습: 끝까지 기다리지 않고 예측으로 예측을 고친다
- 7. Q-러닝: 남이 둔 수로 최선의 수를 배운다
- 8. DQN: 표를 신경망으로 바꾸면 무엇이 흔들리나
- 9. Actor-Critic: 비평가를 곁에 두다
- 10. PPO와 RLHF: 멀리 가지 않게 묶다
- 11. DPO의 재등장: 보상 모델을 수식으로 지우다
- 12. 선호 쌍의 조건: 어떤 데이터가 DPO를 움직이는가
- 13. 로그확률: 문장의 확률은 어떻게 매기나
- 14. 길이 편향: 합이 공정한가?
- 15. 레퍼런스 모델: 학습을 왜 원래 모델에 묶어 두나?
- 16. Bradley-Terry 모델: 시그모이드는 왜 거기 있는가?
- 17. 다차원 보상: 스칼라를 넘어서
- 18. DPO의 진화: 하나의 알고리즘이 낳은 가계도
- 19. 온라인과 오프라인: 이상과 현실 사이에서
- 20. 실전사례: 현장의 목소리, JoyCaption의 DPO 실전기
- 21. RLVR과 GRPO: 비평가를 내려놓다
- 22. RL이 작동하는 조건: 스펙트럼, 적정 난이도, 그리고 한계
- 23. GRPO의 변종들: 설계 선택을 하나씩 의심하다
- 24. 디퓨전에서 DPO를 쓰려면: 로그확률의 벽
- 25. DDPO: 디퓨전의 정책 그래디언트
- 26. 이미지·로보틱스의 강화학습: GRPO가 시각 생성을 만났을 때
- 27. 영상 생성 모델의 학습: 시퀀스와 디퓨전 사이에서 무엇을 "강제"하는가
- 28. 에이전틱 AI: 행동하는 모델의 얼라인먼트
- 부록