랑주뱅과 역방향 미분방정식: 샘플을 뽑는 길

혼동하기 쉬운 점과 요약

토론 1. 처음에 한 번만 뽑는 무작위는 확률이 아닌가

확률 플로우 ODE는 출발점을 한 번 뽑은 뒤로는 노이즈를 넣지 않는다. 같은 출발점이면 언제나 같은 그림이 나온다. 그렇다면 이 방법으로 만든 그림은 분포에서 뽑은 샘플이 아닌가?

선생님 T01
선생님

확률 플로우 ODE는 출발점을 한 번 뽑은 뒤로는 노이즈를 넣지 않아요. 같은 출발점이면 언제나 같은 그림이 나와요. 이 방법으로 만든 그림을 「분포에서 뽑은 샘플」이라고 할 수 있을까요?

김민준 M01
김민준

출발점만 정해지면 그 뒤는 계산일 뿐이잖아요. 무작위가 처음 한 번뿐이니까, 샘플이라기보다 정해진 그림을 하나 꺼내는 것 같은데요.

선생님 T01
선생님

출발점을 뽑기 전에 서서 보면요? 도착할 그림은 정해져 있어요?

김민준 M03
김민준

출발점이 아직 안 뽑혔으니까… 도착점도 모르죠. 출발점이 흩어져 나오는 만큼 도착점도 흩어지겠네요.

이서연 S02
이서연

문제 10에서 그 흩어짐이 어떻게 됐는지 보면 되겠다. 출발점 x(1)이 N(0, 4)이고 도착점은 x(1)/2였으니까, 도착점은 N(0, 1)을 따르는 확률변수야. 데이터 분포 그대로고.

김민준 M07
김민준

무작위가 한 번뿐이어도 그 한 번이 고르게 흩어져 있으면 도착점도 분포를 따라 흩어지는구나. 정해진 건 「이 출발점이면 이 도착점」이라는 짝이지, 어느 그림이 나올지가 아니었어요.

선생님 T02
선생님

그럼 스텝마다 노이즈를 넣는 역방향 SDE와는 무엇이 다를까요?

이서연 S03
이서연

매 순간의 분포는 둘 다 같아요. 다른 건 점 하나가 걸어온 길이겠네요. SDE는 스텝마다 새 노이즈가 섞여서 같은 출발점에서도 다른 그림이 나오고, ODE는 출발점 하나에 그림 하나가 짝지어져요.

선생님 T13
선생님

그래요. 처음 뽑기가 고르게 흩어져 있으면, 그 뒤가 정해져 있어도 매 순간의 분포는 같아요. 확률 플로우 ODE의 그림도 데이터 분포에서 뽑은 샘플이에요. 대신 출발점과 그림이 하나씩 짝지어지니, 같은 시드를 넣으면 같은 그림을 다시 얻을 수 있어요.

김민준 M08
김민준

게임에서 맵 시드를 넣으면 같은 맵이 다시 나오는 거랑 같네요. 시드를 무작위로 선택하면 맵은 매번 달라도, 한 번 선택한 시드의 맵은 정해져 있고요.

토론 2. 매 순간의 분포가 같으면 길도 같은가

확률 플로우 ODE와 역방향 SDE는 t = 1부터 0까지 모든 시각에서 같은 분포 pt를 지난다. 그렇다면 두 방법으로 뽑은 점들의 길도 같은 분포를 따른다고 할 수 있는가?

선생님 T01
선생님

확률 플로우 ODE와 역방향 SDE는 모든 시각에서 같은 pt를 지나요. 그럼 두 방법의 길도 같은 분포를 따른다고 해도 될까요?

김민준 M01
김민준

시각마다 다 같으면 그걸 이어 붙인 길도 같지 않을까요? 0.1초마다 찍은 사진이 다 같으면 영상도 같은 거잖아요.

선생님 T14
선생님

사진 한 장 한 장은 점 2만 개가 어디에 흩어져 있는지예요. 그 사진에 「어느 점이 어느 점인지」도 찍혀 있나요?

김민준 M06
김민준

아니요, 흩어진 모양만 있어요. 사진 두 장을 이어 보려면 앞 사진의 점이 뒤 사진의 어느 점이 됐는지 알아야 하는데… 그게 없네요.

이서연 S03
이서연

실험 표에서 오른쪽에서 출발한 점이 오른쪽에 도착한 비율이 ODE는 1.000, SDE는 0.925였어. 시각마다의 분포는 같은데 두 시각을 함께 본 값은 달라.

선생님 T01
선생님

고양이·강아지 사진을 찍은 곳과 동물로 나눠 센 사진첩 표로 바꿔 말해 볼래요?

이서연 S07
이서연

출발 시각을 줄, 도착 시각을 칸으로 둔 표예요. 줄 합과 칸 합은 두 방법이 같고, 네 칸이 달라요. 줄 합과 칸 합만으로는 네 칸을 정할 수 없었으니까, 시각마다의 분포를 다 일치시켜도 길은 정해지지 않아요.

김민준 M08
김민준

반 배치표가 매 교시 같아도, 누가 누구랑 자리를 바꿨는지는 배치표만 봐서는 모르는 거랑 같네요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
매일 목표 쪽으로 당기면 결국 목표에 붙는다고 봄 1 당기는 세기와 흔드는 세기의 비가 끝의 퍼짐을 정한다. 날마다의 변동이 쌓여 끝의 표준편차가 하루 변동의 표준편차보다 커진다
랑주뱅 스텝의 노이즈 크기는 수렴 속도만 바꾼다고 봄 2 노이즈가 √(2η)일 때만 정상 분포가 p다. 계수가 c면 분산이 c²/2배인 분포에 머문다
노이즈를 탐색용 양념으로 보고 크기를 대충 정함 3 노이즈를 √η로 넣으면 샘플의 분산이 반이 되어 구간이 좁아진다. 모델이 실제보다 자신 있다고 말한다
혼합 비중이 다르면 봉우리 곁의 스코어도 다르다고 봄 4 log π는 상수라 미분하면 사라진다. 비중은 골짜기의 스코어에만 남는다
어닐링만 하면 단계마다 스텝 수는 적어도 된다고 봄 5 점들이 그 단계 분포에 자리 잡기 전에 σ를 줄이면 뒤처진다. 같은 스텝 수라면 단계를 잘게 나눈다
분포를 바꾸지 않는 섞기는 아무 일도 하지 않는다고 봄 6 분포는 그대로지만 개개의 점은 처음 자리를 잊는다
거꾸로 흐르기(x + DsΔt)에 노이즈만 더하거나, 역방향 SDE에서 노이즈만 뺌 7 스코어 항 하나와 노이즈는 한 쌍이다. 노이즈만 남기면 퍼지고 스코어만 남기면 꼭대기로 집중된다
끌림의 방향만 뒤집으면 순방향 과정이 거꾸로 돈다고 봄 8 노이즈가 퍼뜨린 것은 되감기지 않는다. −g²s 항이 따로 있어야 한다
논문의 역방향 SDE 에 양수 시간 간격을 넣음 8 논문의 dt 는 음수다. dt = −Δt 를 넣고 x + (−f + g²s)Δt + g√Δt ε 로 걷는다
한 번만 뽑은 무작위는 확률이 아니라고 봄 토론 1 처음 뽑기가 고르게 흩어져 있으면 그 뒤가 정해져 있어도 매 순간의 분포는 같다
확률 플로우 ODE 에 데이터 분포의 스코어를 넣음 10 넣는 것은 그 시간의 분포 pₜ 의 스코어다
노이즈 항이 없으면 확률 플로우 ODE 가 무너진다고 봄 10 무너지는 것은 스코어 항을 그대로 두고 노이즈만 끈 경우다. 스코어 항을 절반으로 줄이면 같은 분포에 닿는다
같은 분포를 지나니 ODE 와 SDE 는 언제나 같은 결과를 낸다고 봄 11 출발이나 스코어가 틀리면 다르다. SDE 는 틀린 출발을 잊고 ODE 는 그대로 물려받는다
개찰구를 지난 횟수가 많으면 분포가 빨리 바뀐다고 봄 12 분포를 바꾸는 것은 들어온 수에서 나간 수를 뺀 알짜 흐름이다. ODE 2,868 대 0, SDE 107,849 대 104,924 로 알짜가 같다
끌림과 새 노이즈를 따로 키우거나 줄여도 된다고 봄 13, 14 알짜 속도 (1 + λ)Ds − λDs 를 지키려면 둘을 짝으로 움직인다. 스코어 배수 (1 + λ)/2 에는 노이즈 세기 √λ g 가 짝이다
처닝처럼 주변 분포를 지키는 설정은 스텝 수와 상관없이 같은 분포에 닿는다고 봄 15 노이즈를 올린 만큼 내려오는 오일러 스텝의 크기가 커진다. 50스텝에서 오른쪽 비율 0.813, 800스텝에서 0.800
매 순간의 분포가 같으면 길의 결합 분포도 같다고 봄 토론 2 시각마다의 분포는 주변 분포일 뿐이다. 오른쪽 출발 → 오른쪽 도착이 ODE 1.000, SDE 0.925

요약

시드가 정하는 무작위는 출발 노이즈에 한꺼번에 넣어도 되고(확률 플로우 ODE), 스텝마다 새 노이즈로 나눠 넣어도 된다(역방향 SDE와 DDPM의 뽑는 스텝). 새 노이즈를 넣을 때마다 그에 맞는 스코어 항을 함께 얹어 쌍(랑주뱅 스텝)을 지키기만 하면, 쌍을 몇 개 얹든 매 순간의 분포는 같고 바뀌는 것은 점 하나가 걷는 경로뿐이다.

고정된 분포 p의 스코어를 따라 걸으며 스텝마다 노이즈 √(2η)ε를 섞으면(랑주뱅 샘플링), 스코어 방향으로 옮기는 흐름과 노이즈가 퍼뜨리는 흐름이 상쇄되어 p가 정상 분포가 된다. 노이즈가 없으면 꼭대기로 집중되고, 크기가 틀리면 다른 분포에 머문다. 봉우리가 멀리 떨어지면 스코어는 봉우리 곁에서 비중을 모르고 걷는 점은 골짜기를 건너지 못해 비율이 출발 그대로 남는다. 노이즈를 크게 섞은 지형에서 시작해 단계마다 줄여 가며 걸으면(어닐드 랑주뱅) 비중대로 먼저 나뉜 뒤 내려앉는다. 노이즈 레벨을 연속으로 줄이며 거꾸로 흐르는 스텝에 랑주뱅 스텝 하나를 얹으면 역방향 SDE x − fΔt + g²sΔt + g√Δt ε가 된다(앤더슨 1982). 스코어 항 하나와 노이즈는 한 쌍이라, 쌍을 깨지만 않으면 몇 쌍을 얹어도 같은 분포를 지나고, DDPM의 뽑는 스텝은 그 한 형태다. 쌍을 모두 빼면 노이즈 없는 확률 플로우 ODE x − fΔt + ½g²sΔt가 되고, 이 책의 기본 일정에서는 퍼지는 흐름을 거꾸로 따라가던 스텝과 같다. ODE는 출발점이 도착점을 정하므로 다양성은 처음 노이즈에서 오고, 그림과 노이즈를 오가는 지도를 준다. 노이즈를 다시 넣는 역방향 SDE는 출발이나 스코어의 오차를 잊는다. 시각마다의 분포 pt는 점들이 걸은 길의 결합 분포에서 나머지 시각을 지운 주변 분포이고, 걷는 규칙들은 주변 분포를 같게 두고 길의 결합 분포만 다르게 선택한다. 분포를 바꾸는 것은 경계를 드나드는 알짜 흐름뿐이라, 끌림 (1 + λ)Ds 와 노이즈가 퍼뜨리는 −λDs 가 짝을 이루면 알짜 속도는 늘 Ds 다. 학습 데이터는 시각마다 한 장씩이라 모델은 주변 분포의 스코어만 배우고, 생성할 때 λ를 선택하는 것은 샘플러다. 코드에서는 score_sde 의 probability_flow 플래그가 스코어 항 배수 0.5·1 과 새 노이즈 0·g 를 한 벌로 고르고, k-diffusion 의 s_churn 은 노이즈를 먼저 더해 노이즈 레벨을 올린 뒤 ODE 로 내려오는 형태로 같은 짝을 맞춘다. 짝 가운데 하나만 고치거나 스텝 크기가 너무 크면 분포가 새어 나간다.

flowchart LR
  A["스코어만 따라 오르기<br/>모두 꼭대기로"] -->|"노이즈 √(2η)ε 를 섞으면"| B["랑주뱅 샘플링<br/>정상 분포 = p"]
  B -->|"봉우리가 멀면<br/>비율이 안 맞는다"| C["어닐드 랑주뱅<br/>노이즈 레벨을 단계마다 줄이며"]
  C -->|"노이즈 레벨을 연속으로 줄이고<br/>스텝마다 한 번만"| D["역방향 SDE<br/>거꾸로 흐르기 + 랑주뱅 한 쌍<br/>x − fΔt + g²sΔt + g√Δt ε"]
  D -->|"쌍을 모두 빼면"| E["확률 플로우 ODE<br/>x − fΔt + ½g²sΔt<br/>출발점이 도착점을 정한다"]
  D -->|"분산 보존 일정"| F["DDPM 의 뽑는 스텝"]
  E -->|"기본 일정 f = 0, g² = 2D"| G["퍼지는 흐름을<br/>거꾸로 따라가기"]
  D --> H["주변 분포만 같으면<br/>알짜 속도 Ds 로 같은 pₜ<br/>쌍의 수 λ 는 고르기 나름"]
  E --> H
  H --> I["코드 속의 두 숫자<br/>probability_flow: 배수 0.5·1 + 노이즈 0·g<br/>s_churn: 노이즈 올리고 ODE 로"]

정리 연습문제

물음. 랑주뱅 샘플링에서 스텝마다 섞는 노이즈를 정해진 크기보다 작게 넣었다(스코어 항은 그대로다). 오래 걸은 뒤 점들은 어떤 분포에 머무는가?

  • [x] 원하는 분포보다 좁은 분포 〔맞음: 노이즈가 작으면 퍼뜨리는 흐름이 모으는 흐름을 다 상쇄하지 못한다. 샘플이 좁게 모여 모델이 실제보다 자신 있다고 말하게 된다.〕
  • [ ] 원하는 분포. 노이즈 크기는 얼마나 빨리 닿느냐만 바꾼다 〔틀림: 노이즈 크기는 머무는 분포를 정한다. 정해진 크기일 때만 원하는 분포가 정상 분포다.〕
  • [ ] 분포의 꼭대기 한 점 〔틀림: 꼭대기로 집중되는 것은 노이즈를 아예 뺐을 때다. 조금이라도 넣으면 퍼짐이 남는다.〕

물음. 멀리 떨어진 두 봉우리의 비중이 9 대 1이다. 점들을 두 봉우리에 반반 흩어 놓고 이 분포의 스코어로 랑주뱅 샘플링을 오래 했는데도 비율이 반반 그대로다. 왜 그렇고, 어떻게 고치는가?

  • [ ] 봉우리 곁의 스코어가 비중을 잘못 배웠다. 스코어를 더 잘 배우면 된다 〔틀림: 비중은 로그를 씌우면 상수가 되어 미분하면 사라진다. 정확한 스코어도 봉우리 곁에서는 비중을 모른다.〕
  • [ ] 노이즈를 정해진 크기보다 크게 넣으면 같은 분포에서도 비율이 맞는다 〔틀림: 노이즈 크기를 바꾸면 머무는 분포 자체가 바뀐다. 원하는 분포에 머물게 하는 크기는 하나뿐이다.〕
  • [x] 점들이 골짜기를 건너지 못한다. 노이즈를 크게 섞은 분포에서 시작해 노이즈 레벨을 단계마다 줄이며 걷는다 〔맞음: 노이즈를 크게 섞은 지형에서는 두 봉우리가 이어져 있어 점들이 비중대로 먼저 나뉘고, 노이즈를 줄이면 각각의 봉우리로 내려앉는다.〕

물음. 역방향 SDE 의 스텝에는 거꾸로 흐르기의 스코어 항에 랑주뱅 스텝 하나(스코어 항 하나와 새 노이즈 한 쌍)가 얹혀 있다. 새 노이즈만 빼고 스코어 항은 모두 그대로 두면 어떻게 되는가?

  • [ ] 노이즈 없는 확률 플로우 ODE 가 되어 같은 분포를 지난다 〔틀림: 확률 플로우 ODE 는 노이즈와 함께 그 쌍의 스코어 항도 뺀 것이다. 스코어 항을 그대로 두면 다른 분포로 간다.〕
  • [x] 점들이 꼭대기 쪽으로 몰린다 〔맞음: 쌍을 잃은 스코어 항이 점을 모으기만 한다. 노이즈를 빼려면 스코어 항 하나도 함께 빼야 하고, 그러면 스코어 항이 절반이 된다.〕
  • [ ] 노이즈가 없으니 점들이 넓게 퍼진다 〔틀림: 점을 퍼뜨리는 것은 노이즈다. 노이즈만 남기고 스코어 항을 뺄 때 점들이 퍼진다.〕

물음. 확률 플로우 ODE 는 처음에 노이즈를 한 번 뽑은 뒤로는 무작위 없이 걷는다. 이렇게 만든 그림들을 데이터 분포에서 뽑은 샘플이라 할 수 있는가?

  • [x] 그렇다. 다양성은 처음 노이즈에서 온다 〔맞음: 출발점마다 도착점이 하나씩 정해지고, 출발점들이 노이즈 분포대로 흩어져 있으니 도착점들도 데이터 분포대로 흩어진다.〕
  • [ ] 아니다. 처음 뒤로는 길이 정해져 있으니 확률이 아니다 〔틀림: 처음 뽑기가 고르게 흩어져 있으면, 그 뒤가 정해져 있어도 매 순간 점들의 분포는 역방향 SDE 와 같다.〕
  • [ ] 아니다. 같은 노이즈에서 출발하면 늘 같은 그림이 나오니 그림을 한 장밖에 못 만든다 〔틀림: 같은 출발에서 같은 그림이 나오는 것은 맞다. 출발 노이즈를 새로 뽑으면 다른 그림이 나온다.〕

물음. 출발 노이즈의 분포가 조금 틀렸다. 노이즈를 다시 넣는 역방향 SDE 와 노이즈 없는 확률 플로우 ODE 가운데 이 오차를 덜 물려받는 쪽은?

  • [ ] 어느 쪽이든 같다. 두 방법은 같은 분포를 지난다 〔틀림: 같은 분포를 지나는 것은 출발과 스코어가 맞을 때의 이야기다. 출발이 틀리면 결과가 달라진다.〕
  • [ ] 확률 플로우 ODE. 노이즈를 넣지 않으니 오차가 더해지지 않는다 〔틀림: ODE 에는 출발의 오차를 지울 장치가 없다. 틀린 출발점이 틀린 도착점으로 그대로 간다.〕
  • [x] 역방향 SDE. 스텝마다 새로 넣는 노이즈가 출발의 오차를 잊게 한다 〔맞음: ODE 는 출발점이 도착점을 정하므로 출발의 오차를 그대로 물려받는다.〕

물음. 샘플러 코드에서 스코어 항의 배수만 0.5에서 0.75로 올리고 새 노이즈는 넣지 않았다. 결과는 어떻게 되는가?

  • [ ] ODE 와 SDE 의 중간인 규칙이 되어 같은 분포에 닿는다 〔틀림: 중간 규칙(쌍 0.5개)은 배수 0.75에 노이즈 세기 √0.5 g 가 짝이다. 노이즈 없이 배수만 올리면 짝이 깨진다.〕
  • [x] 끌림만 세져 알짜 흐름이 바뀌고, 점들이 봉우리 쪽으로 몰린다 〔맞음: 분포를 지키는 것은 끌림과 노이즈가 함께 만드는 알짜 속도다. 끌림만 키우면 알짜 속도가 커져 분포가 좁아진다.〕
  • [ ] 길이 매끈해질 뿐 분포는 그대로다 〔틀림: 길만 바꾸고 분포를 지키는 파라미터는 끌림과 노이즈를 짝으로 움직이는 쌍의 수 λ 다.〕

막힌 곳

이제 순수한 노이즈에서 그림까지 걷는 방법을 안다. 노이즈를 다시 넣으며 걷는 역방향 SDE와 노이즈 없이 걷는 확률 플로우 ODE는 같은 분포를 지나고, 어느 길이든 필요한 것은 모든 노이즈 레벨의 스코어뿐이다.

다만 쌍이 분포를 지킨다는 약속은 스텝을 잘게 나눌 때의 이야기다. 주변 분포를 지키는 처닝도 50스텝에서는 오른쪽 비율이 0.813으로 참값 0.800에서 벗어났고, 800스텝에서야 0.800으로 돌아왔다(문제 15). 스텝을 크게 잡고도 분포에서 벗어나지 않으려면 무엇이 더 있어야 하는지는 이 장의 언어로는 아직 말하지 못한다.