노이즈를 맞히는 신경망: DDPM과 디노이징 스코어 매칭

혼동하기 쉬운 점과 요약

토론 1. 노이즈를 반으로 줄이면 경계도 같은 배율로 옮겨 가나

파워 스펙트럼이 Af^(−γ) 형태인 그림에서 노이즈 크기 σ를 반으로 줄이면, 노이즈에 묻히는 경계 f*는 몇 배로 옮겨 가는가? γ = 2.86인 얼굴 사진에서 생각해 보자.

선생님 T01
선생님

얼굴 사진의 파워 스펙트럼은 Af^(−2.86) 형태예요. 노이즈 크기 σ를 반으로 줄이면, 노이즈에 묻히는 경계 f*는 몇 배로 옮겨 갈까요?

이서연 S01
이서연

노이즈의 세기는 σ²니까 4분의 1이 되네요. 세기가 4분의 1인 곳까지 무늬가 살아남으니까… 경계도 4배요.

선생님 T01
선생님

세로축에서 4배 내려간 것과 가로축에서 몇 배 옮겨 가는지는 같은 말일까요? 곡선의 기울기를 생각해 봐요.

이서연 S03
이서연

두 축 로그 눈금에서 기울기가 −2.86이니까… 세로로 log 4만큼 내려가려면 가로로는 log 4를 2.86으로 나눈 만큼만 가면 되네요. 4배가 아니라 4^(1/2.86)배.

김민준 M02
김민준

계산하면 1.62배야. 기울기가 −2인 그림이면 4^(1/2) = 2배, 딱 한 옥타브고.

이서연 S04
이서연

세로축의 배율을 가로축에 그대로 옮겨 버렸네. 곡선이 가파를수록 세로로 많이 내려가도 가로로는 조금만 가는데.

선생님 T02
선생님

그럼 얼굴 사진에서 경계를 한 옥타브, 두 배 가는 무늬까지 옮기려면 노이즈를 얼마나 줄여야 할까요?

김민준 M03
김민준

경계가 2배가 되려면 σ²는 2^2.86 = 7.26배 줄어야 하니까, σ로는 2^1.43 = 2.69배요. 반으로 줄이는 걸로는 모자라네요.

선생님 T13
선생님

그래요. 경계는 (A/σ²)^(1/γ)라서 σ를 반으로 줄이면 2^(2/γ)배 옮겨 가요. 한 옥타브씩 옮겨 가는 건 γ = 2일 때뿐이에요.

토론 2. 스케줄의 노이즈 크기를 그대로 그림의 무늬와 비교해도 되나

DDPM 스케줄의 t = 500에서 노이즈 크기는 σt = 0.9599, 그림이 남는 비율은 αt = 0.2803이다(픽셀 값 −1 ~ 1 범위). 밝기 0~1 범위의 그림 무늬와 비교할 노이즈 크기는 얼마인가?

선생님 T01
선생님

DDPM 스케줄의 t = 500에서 노이즈 크기는 σt = 0.9599, 그림이 남는 비율은 αt = 0.2803이에요. 픽셀 값은 −1 ~ 1 범위이고요. 밝기 0~1 범위의 그림 무늬와 비교하려면 노이즈 크기를 얼마로 잡아야 할까요?

김민준 M01
김민준

섞은 노이즈가 0.96이니까 그대로 0.96 아니에요? 노이즈는 노이즈니까요.

선생님 T01
선생님

xt 안에 그림은 원래 크기 그대로 들어 있어요?

김민준 M03
김민준

αt배로 줄어서 0.28배만 들어 있죠. 그럼 그림을 원래 크기로 놓고 보면 노이즈가 상대적으로 더 크겠네요.

이서연 S03
이서연

xt 전체를 αt로 나누면 그림은 원래 크기가 되고 노이즈는 σt/αt가 돼. 0.9599/0.2803 = 3.42야.

김민준 M04
김민준

노이즈만 보고 그림이 줄어든 걸 빼먹었네요. 범위도 있어요. −1 ~ 1 범위는 0~1 범위보다 두 배 넓으니까 2로 나눠서 1.71이요.

선생님 T02
선생님

0.96으로 읽었다면 무엇을 잘못 판단했을까요?

이서연 S07
이서연

문제 3에서 1.71은 경계가 7 c/i 쯤이었어요. 노이즈를 0.96으로 작게 읽으면, 그보다 훨씬 가는 무늬까지 살아 있다고 잘못 판단하겠네요.

선생님 T13
선생님

그래요. 그림은 αt배로 줄어 있으니 σt/αt로 비교하고, 픽셀 범위도 일치시켜야 해요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
세기가 노이즈 세기보다 크기만 하면 그 대역이 다 들린다(남는다)고 봄 1 대역마다 세기 ÷ (세기 + 노이즈 세기)만큼만 남는다. 둘이 같으면 반이다
노이즈 크기를 반으로 줄이면 경계가 4배(또는 늘 2배)로 옮겨 간다고 봄 토론 1 경계는 (A/σ²)^(1/γ)라 2^(2/γ) 배. γ = 2 일 때만 한 옥타브다
노이즈 스케줄의 σₜ 를 그대로 그림의 무늬와 비교함 토론 2 그림은 αₜ 배로 줄어 있으니 σₜ/αₜ 로 비교하고, 픽셀 범위(−1 ~ 1 이면 0~1 의 두 배)도 일치시킨다
답이 둘로 갈릴 때 더 그럴듯한 쪽 하나를 고름 4 제곱 오차를 가장 작게 하는 답은 확률로 섞은 평균이다
조건부 타깃을 처음 비중(반반)으로 섞음 5 xₜ를 본 뒤의 확률로 섞는다. 가까운 데이터 점에서 출발했을 확률이 크다
디노이징 스코어 매칭 손실이 0까지 내려가야 학습이 끝난다고 봄 6 손실의 최솟값은 xₜ마다 타깃의 조건부 분산을 평균 낸 값이고, 노이즈 레벨마다 다르다
크기가 다른 오차를 그대로 더함 7 맞힐 값의 크기를 고르게 한 뒤 더한다. 노이즈를 맞히면 모든 수준에서 크기가 1이다
노이즈 예측을 원래 그림으로 바꿀 때 α로 나누는 것을 빠뜨림 8 x̂₀ = (xₜ − σₜ ε̂)/αₜ
노이즈 예측에서 스코어를 −ε̂/σ² 로 씀 8 스코어는 −ε̂/σₜ. −(xₜ − x₀)/σ² 는 α = 1 일 때의 식이다
노이즈 오차가 작으면 원래 그림의 추정값도 늘 정확하다고 봄 9 오차가 σₜ/αₜ 배로 바뀐다. 짙은 노이즈에서는 크게 부푼다
비중만 바뀌었는데 결과의 순위가 그대로일 거라 봄 10, 12 같은 점수표도 비중이 바뀌면 1등이 바뀐다
역방향 한 스텝의 KL 에서 분산을 σₜ² 로 씀 11 한 스텝 되돌린 분포의 분산은 βₜ 다. σₜ² 는 처음부터 쌓인 노이즈다
FID 와 로그우도 가운데 한쪽만으로 모델을 판단함 12 무엇을 재느냐에 따라 1등이 다르다. 단순한 손실은 옅은 노이즈의 비중을 줄인다
줄어든 양의 합만으로 처음 값을 구함(끝 값을 확인하지 않음) 13 끝 값이 0일 때만 합 = 처음 값. 중간에서 끊으면 아래쪽 경계뿐이다
노이즈 섞기 전의 스코어로 모든 수준의 피셔 발산을 계산함 14 노이즈 레벨마다 두 분포를 다시 적고 그 스코어를 쓴다
짙은 노이즈에서 스코어가 맞으면 좋은 모델이라 봄 15 봉우리 모양은 옅은 노이즈의 스코어에 있다. 로그우도도 옅은 노이즈의 스코어가 정한다

요약

노이즈 크기를 한 단계 줄일 때마다 디노이저가 고치는 것은 그 노이즈 레벨에서 막 노이즈 위로 떠오른 대역이고, 그 모든 노이즈 레벨의 스코어는 노이즈를 섞어 본 쌍만으로 배울 수 있다. 기록 한 줄마다 섞은 노이즈를 맞히게 하면 신경망은 정답 스코어를 한 번도 보지 않고 참 스코어를 배우고, 그 손실은 스코어 매칭에서 출발해도 ELBO에서 출발해도 같은 손실이라, 남는 선택은 신경망의 힘을 어느 노이즈 레벨에, 그래서 그 수준이 채우는 어느 대역에 쓸지 정하는 가중치뿐이다.

그림들을 공간 주파수마다 세기가 정해진 정규분포로 보면, 노이즈 σ 를 섞은 그림의 가장 좋은 디노이저는 무늬마다 P(f)/(P(f) + σ²)를 곱한다. 세기가 σ² 보다 큰 굵은 무늬(낮은 공간 주파수 성분)만 남고, σ 를 한 단계 줄일 때마다 경계가 더 높은 공간 주파수로 대역 하나만큼 옮겨 간다. 노이즈 레벨마다 막 드러나는 대역을 채우며 여러 번 디노이징하는 것이 디퓨전 모델이다. 신경망은 노이즈 섞인 분포의 스코어를 정답으로 받을 수 없다. 대신 데이터에 노이즈를 섞어 본 기록 한 줄마다 「떠나온 점 쪽 스코어」 −(xₜ − x₀)/σₜ²를 타깃으로 주면, 제곱 오차를 가장 작게 하는 답은 같은 xₜ에 놓인 샘플들의 타깃의 평균이고, 그 평균이 트위디 공식에 따라 참 스코어다. 이 학습법이 디노이징 스코어 매칭이다. 섞은 노이즈 ε를 맞히든, 원래 그림 x₀를 맞히든, 스코어를 맞히든 같은 정보이고(x̂₀ = (xₜ − σₜ ε̂)/αₜ, s = −ε̂/σₜ), 노이즈를 맞히면 모든 노이즈 레벨에서 맞힐 값의 크기가 1로 고르다. 노이즈를 천 스텝에 나눠 섞는 체인을 VAE처럼 보면, 데이터 x₀가 그림이고 나머지 체인이 잠재 변수이며 인코더는 고정된 노이즈 섞기다. 그 ELBO는 스텝마다의 노이즈 맞히기 오차에 가중치 λₜ를 붙인 합이 되고(DDPM), 가중치를 모두 같게 한 단순한 손실이 그림의 질을 높였다. 같은 노이즈를 섞은 두 분포의 KL은 노이즈 분산을 늘릴 때 피셔 발산의 절반을 변화율로 하여 줄어드므로, 모든 노이즈 레벨의 스코어 매칭을 적절한 가중치로 합하면 KL로 돌아온다. 디퓨전 손실들의 차이는 노이즈 레벨마다의 가중치다.

flowchart LR
  Z["가장 좋은 디노이저<br/>무늬마다 P/(P + σ²)"] --> Y["σ 를 줄일 때마다 대역 하나<br/>= 디퓨전 모델"]
  Y --> A
  A["정답 스코어를 모른다"] --> B["노이즈를 섞어 본 기록<br/>타깃 −(xₜ − x₀)/σ²"]
  B --> C["제곱 오차의 답 = 같은 xₜ의 타깃 평균<br/>= 참 스코어 (디노이징 스코어 매칭)"]
  C --> D["타깃 크기가 1/σ 로 오르내림"]
  D --> E["섞은 노이즈 ε 를 맞힌다 (노이즈 예측)<br/>x̂₀ 와 s 는 ε̂ 에서 바로 계산"]
  F["VAE 의 ELBO"] --> G["인코더 = 고정된 노이즈 섞기<br/>체인의 ELBO = Σ λₜ ‖ε − εθ‖² (DDPM)"]
  E --> G
  G --> H["단순한 손실: λₜ 를 모두 같게"]
  C --> I["피셔 발산의 합 = KL<br/>(모든 노이즈 레벨을 합치면)"]
  I --> H

정리 연습문제

물음. 그림들의 어느 공간 주파수 대역의 세기가 섞은 노이즈의 세기와 똑같다. 가장 좋은 디노이저는 이 대역을 얼마나 남기는가?

  • [x] 반 〔맞음: 남기는 비율은 세기를 세기와 노이즈 세기의 합으로 나눈 값이다. 둘이 같으면 반이다.〕
  • [ ] 다 남긴다. 세기가 노이즈보다 작지 않다 〔틀림: 대역마다 「세기를 세기와 노이즈 세기의 합으로 나눈 비율」만큼만 남는다. 노이즈보다 크다고 다 남지는 않는다.〕
  • [ ] 하나도 남기지 않는다. 노이즈보다 커야 남는다 〔틀림: 남기는 비율은 0과 1 사이에서 매끄럽게 바뀐다. 세기가 노이즈와 같은 대역은 반쯤 남는다.〕

물음. 노이즈 섞인 그림 하나를 보았다. 이 그림이 원래 그림 A에서 왔을 확률이 70%, B에서 왔을 확률이 30%다. 제곱 오차를 가장 작게 하는 원래 그림의 추정값은?

  • [ ] A. 더 그럴듯한 쪽을 선택한다 〔틀림: 30%로 B였을 때의 오차가 커서 평균 오차가 커진다. 제곱 오차를 가장 작게 하는 답은 하나를 선택하는 것이 아니다.〕
  • [ ] A와 B를 반반 섞은 평균 〔틀림: 섞는 비율은 처음 비중이 아니라, 노이즈 섞인 그림을 본 뒤의 확률이다.〕
  • [x] A를 0.7, B를 0.3의 비율로 섞은 평균 〔맞음: 제곱 오차의 평균은 확률로 섞은 평균에서 가장 작다. 그래서 짙은 노이즈에서 디노이저의 답이 흐릿하다.〕

물음. 디노이징 스코어 매칭으로 넉넉한 신경망을 끝까지 배웠다. 손실은 어디까지 내려가는가?

  • [ ] 0까지. 0이 되어야 학습이 끝난 것이다 〔틀림: 같은 노이즈 섞인 그림이 여러 원래 그림에서 올 수 있어 타깃이 갈린다. 갈린 만큼은 어떤 답으로도 지울 수 없다.〕
  • [x] 0보다 큰 값에서 멈추고, 최솟값은 노이즈 레벨마다 다르다 〔맞음: 손실의 최솟값은 타깃이 갈리는 정도(조건부 분산)를 평균 낸 값이다. 갈리는 정도는 노이즈 레벨마다 다르다.〕
  • [ ] 0보다 큰 값에서 멈추지만, 최솟값은 노이즈 레벨과 상관없이 같다 〔틀림: 노이즈가 짙을수록 한 그림이 올 수 있는 원래 그림이 많아진다. 갈리는 정도가 다르니 최솟값도 다르다.〕

물음. 노이즈 레벨이 아주 다른 스텝들의 오차를 한 손실로 더해야 한다. DDPM 은 왜 신경망에게 섞은 노이즈를 맞히게 했는가?

  • [x] 맞힐 노이즈의 크기가 모든 노이즈 레벨에서 1로 고르다 〔맞음: 크기가 다른 오차를 그대로 더하면 큰 쪽이 손실을 차지한다. 섞은 노이즈는 늘 표준정규분포라 크기가 고르다.〕
  • [ ] 노이즈를 맞히면 원래 그림이나 스코어를 맞힐 때보다 정보를 더 많이 배운다 〔틀림: 노이즈, 원래 그림, 스코어 가운데 하나를 맞히면 나머지는 바로 계산된다. 담은 정보는 같다.〕
  • [ ] 크기가 다른 오차를 그대로 더해도 되니, 무엇을 맞혀도 상관없었다 〔틀림: 스코어 타깃의 크기는 노이즈 크기에 반비례해 오르내린다. 그대로 더하면 옅은 노이즈의 오차가 손실을 차지한다.〕

물음. 노이즈 예측 신경망의 노이즈 오차가 모든 노이즈 레벨에서 똑같이 작다. 이 신경망의 노이즈 추정을 원래 그림의 추정값으로 바꾸면 오차는 어떤가?

  • [ ] 노이즈 레벨과 상관없이 똑같이 작다 〔틀림: 원래 그림으로 바꿀 때 오차에 「노이즈 크기를 신호 크기로 나눈 값」이 곱해진다. 노이즈 레벨마다 배율이 다르다.〕
  • [ ] 옅은 노이즈에서 크게 부푼다 〔틀림: 옅은 노이즈에서는 노이즈 크기가 작아 곱해지는 배율도 작다. 부푸는 쪽은 짙은 노이즈다.〕
  • [x] 짙은 노이즈에서 크게 부푼다 〔맞음: 짙은 노이즈에서는 남은 신호가 작아 그 신호로 나누게 된다. 같은 노이즈 오차가 원래 그림에서는 몇 배로 커진다.〕

물음. DDPM 체인의 ELBO, 가중치를 모두 같게 한 단순한 손실, 모든 노이즈 레벨의 스코어 매칭을 합한 손실은 무엇이 다른가?

  • [ ] 신경망이 맞히는 정답이 다르다 〔틀림: 셋 다 노이즈 레벨마다의 노이즈 맞히기 오차를 더한다. 맞히는 것은 같다.〕
  • [x] 노이즈 레벨마다의 가중치 〔맞음: 디퓨전 손실들의 차이는 어느 노이즈 레벨의 오차를 무겁게 보느냐다.〕
  • [ ] 다를 게 없으니, 어느 손실로 배워도 FID 와 로그우도에서 같은 모델이 1등이다 〔틀림: 같은 점수표도 비중이 바뀌면 1등이 바뀐다. 단순한 손실은 옅은 노이즈의 비중을 줄여, 측정하는 것에 따라 1등이 다르다.〕

막힌 곳

이제 신경망에게 무엇을 맞히게 할지 안다. 그림과 노이즈 레벨 t를 받아 그림과 같은 크기의 노이즈 εθ(xt, t)를 내놓게 하고, 단순한 제곱 오차로 배우면 된다.