MLP에서 디퓨전 트랜스포머까지
VAE에서 출발해 디퓨전 트랜스포머, 조건 걸기, 영상 생성까지
- 머리말
- 기본기
- 조건부 확률분포: p(a∣b) 와 p(b∣a)
- 오토인코더와 VAE
- 생성을 가르치는 법: 분류기를 뒤집으면
- 오토인코더에서 VAE 로
- 조건을 붙여가기
- 디노이징과 조건부 디노이징: 고치다 보면 만들게 된다
- 조건과 ELBO
- 신호와 스펙트럼
- 그림을 나누는 축: 스펙트럼
- 합성곱: 이웃만 보는 MLP
- 퍼짐: 그림에 잡음을 섞으면
- U-Net: 여러 해상도로 잡음을 읽는다
- 직관을 합치기
- 스코어: 퍼지기 전으로 되돌리는 방향
- 잡음을 맞히는 신경망: DDPM과 잡음 제거 스코어 매칭
- 랑주뱅과 역방향 미분방정식: 샘플을 뽑는 길
- 플로우 매칭: 길을 통째로 배우기
- 예측의 대상: 잡음·속도장·이미지
- 샘플러: 같은 길을 걷는 여러 걸음법
- 구조와 조건, 영상
- 어텐션과 트랜스포머: 멀리 떨어진 칸끼리 읽기
- 잠재 디퓨전: 작게 줄여 놓고 퍼뜨리기
- 디퓨전 트랜스포머: U-Net 자리에 트랜스포머를
- 가이던스: 조건 쪽으로 더 세게
- 글을 읽는 인코더: CLIP의 마지막 층에서 언어모델의 여러 층으로
- 그림으로 조건 걸기: 참조 이미지 여러 장
- 영상 생성: 시퀀스와 디퓨전 사이
- 부록 A — 강화학습으로 이어지는 다리
- 에필로그