7부: 응용 (이미지·영상·로보틱스·에이전틱 AI)

지금까지의 도구(정책 그래디언트, DPO, GRPO)는 모두 출력의 로그확률을 계산할 수 있는 텍스트 위에서 자랐다. 그런데 강화학습이 더 절실한 곳은 그림과 영상의 픽셀, 로봇 팔의 관절 각도, 자동차의 조향각처럼 출력이 연속값이고 좋은 답이 여럿인 곳이다. 좋은 출력이 여러 봉우리로 분산되어 있으면 평균 하나를 내는 모델은 어느 봉우리에도 없는 값을 낸다. 노이즈에서 출발해 출력을 조금씩 만들어 내는 디퓨전 모델은 여러 번 뽑으면 서로 다른 봉우리에 닿는다. 이 파트의 물음은 하나다: 앞의 도구들을 디퓨전 모델 위에서 쓰려면 무엇이 달라지는가?


24장: 디퓨전에서 DPO를 쓰려면: 로그확률의 벽

의문

이미지 생성 서비스에도 「같은 프롬프트로 만든 두 그림 가운데 어느 쪽이 나은가」를 선택한 기록이 수십만 건씩 쌓인다. 이 기록으로 디퓨전 모델을 DPO로 다듬으려면 각 그림의 로그확률 log⁡π(y∣x)\log \pi(y \mid x)가 필요하다(π는 정책, 곧 답을 내는 모델이다). 디퓨전 모델에서 그림 한 장의 로그확률을 구할 수 있는가?

디퓨전의 로그확률: 이미지는 계산하지 못해도 한 스텝은 계산한다

DPO는 선호 응답의 log⁡π(yw∣x)\log \pi(y_w \mid x)와 비선호 응답의 log⁡π(yl∣x)\log \pi(y_l \mid x)를 레퍼런스(학습 전 모델을 얼려 둔 기준)와 비교해, 두 로그확률 차의 마진을 벌린다. LLM에서는 응답의 로그확률이 토큰별 조건부 확률의 곱(= 로그의 합)이기 때문에 정확히 구할 수 있었다.

디퓨전 모델에서는 간단하지 않다.

거꾸로 한 스텝도 정규분포인가

디퓨전이 기대는 사실은 하나다. 정방향 한 스텝이 정규분포이고 스텝이 충분히 작으면, 거꾸로 가는 한 스텝도 정규분포로 적을 수 있다. 이 사실은 1949년 펠러(William Feller)가 확산 과정의 앞으로 방정식과 뒤로 방정식을 다듬은 연구에서 왔고, 2015년 졸-딕스타인(Jascha Sohl-Dickstein)과 동료들이 그 결과를 근거로 거꾸로 한 스텝의 평균과 분산을 모델에게 배우게 했다. 2020년 호(Jonathan Ho)와 동료들의 DDPM은 학습 목표를 바꿔 그림 품질을 끌어올렸다. 아래 그림은 두 봉우리 분포에서 한 스텝을 밟고 거꾸로 분포를 직접 계산한 것이다. 스텝이 작으면 거꾸로 분포가 같은 평균·분산의 정규분포와 겹치지만, 스텝이 크면 봉우리 둘로 갈라진다.

작은 스텝 (β = 0.01) −1 0 1 xt = 0.98 xt−1 큰 스텝 (β = 0.64) −1 0 1 xt = 0.1 xt−1 앞 분포 p(xt−1) 거꾸로 분포 평균·분산이 같은 정규분포

DDPM이 학습 목표를 무엇으로 바꿨는지는 이 절 끝에서 다시 본다. 아래 그림은 정방향 과정과 역방향 과정을 그림 한 장으로 나란히 놓은 것이다.

정방향 q: 노이즈를 조금씩 더한다 → x0 x250 x500 x750 x1000 ← 역방향 pθ: 학습한 모델이 한 스텝씩 덜어 낸다
김민준 (평상)
김민준
노이즈를 더해서 망가뜨렸으면, 거꾸로 갈 때는 더한 노이즈를 빼기만 하면 되는 거 아니에요?
선생님 (짚어주기)
선생님
위 그림의 큰 스텝을 보세요. 지금 xt = 0.1 이면, 한 스텝 전에는 어디에 있었을까요?
김민준 (난처함)
김민준
−1 근처일 수도 있고 +1 근처일 수도 있네요. 어떤 노이즈가 더해졌는지 모르니까 뺄 값을 하나로 못 정하겠어요.
선생님 (평상)
선생님
그 그림은 앞 분포가 −1 과 +1 의 봉우리 둘이라는 걸 알고서 직접 계산한 거예요. 펠러가 다룬 확산은 상태가 숫자 하나였고요. 그림은 어때요?
이서연 (평상)
이서연
그림은 픽셀마다 숫자가 하나씩이라 수만 개고, 그 그림들이 어떤 분포를 이루는지는 식으로 적을 수가 없어요.
선생님 (평상)
선생님
그래서 거꾸로 한 스텝의 평균은 데이터에서 배워야 했어요. 1949년의 펠러에게는 그림 데이터도, 그 평균을 배울 모델도 없었죠. 2015년 졸-딕스타인과 동료들이 펠러의 결과를 근거로 들며 그 평균과 분산을 모델에게 배우게 했고요.
이서연 (호기심)
이서연
한 스텝씩은 정규분포라 해도, 그림 한 장의 확률은요? 노이즈에서 같은 그림까지 가는 길이 하나만 있는 건 아니잖아요.

디퓨전 논문들은 그림을 xx로 적는 관습이 있어 이 장도 따르는데, 앞에서 프롬프트를 xx, 응답을 yy로 적던 것과 글자만 다르다. 이 장의 x0x_0은 모델이 내놓은 그림, 곧 응답의 자리이고, xtx_t는 스텝 tt에서 노이즈가 섞인 그림이다.

이미지 한 장의 확률 계산
LLM (자기회귀) P(y)=P(y1) P(y2∣y1) P(y3∣y1:2)⋯P(y) = P(y_1)\,P(y_2 \mid y_1)\,P(y_3 \mid y_{1:2}) \cdots 각 항을 모델이 직접 출력한다. 곱하면 끝
디퓨전 p(x0)=∫p(x0,x1,…,xT) dx1⋯dxTp(x_0) = \int p(x_0, x_1, \dots, x_T)\, dx_1 \cdots dx_T 모든 중간 상태에 대해 적분해야 한다. 차원이 수만–수십만이라 식 하나로 정리해 풀 수 없다

차이의 핵심은 같은 이미지 x0x_0에 도달하는 경로가 무수히 많다는 것이다. LLM에서는 문장 하나에 경로(토큰 순서)가 하나뿐이지만, 디퓨전에서는 서로 다른 노이즈 궤적들이 같은 그림으로 모인다.

LLM: 문장 하나 = 토큰 순서 하나 오늘 날씨는 맑다 이 문장에 이르는 토큰 순서는 하나뿐이다. 토큰 확률을 곱하면 끝 디퓨전: 그림 하나에 이르는 경로가 무수히 많다 출발: 서로 다른 노이즈 xT x0 같은 그림

완벽한 전체 적분은 어렵지만 한 스텝씩 분석하면 이야기가 달라진다. 어차피 현실의 이미지 모델은 수십 개의 이산 스텝으로 나눈 샘플러(노이즈에서 그림까지 가는 경로를 몇 스텝으로 나눠 밟는 계산법. 미분방정식을 한 스텝씩 가장 단순하게 푸는 오일러(Euler) 방법, 같은 학습으로 스텝 수를 크게 줄인 DDIM(Denoising Diffusion Implicit Models) 등)를 쓰니, 샘플러의 디노이징 스텝 하나하나를 보자.

한 스텝은 정규분포다

순방향 과정은 원래 스텝마다 정규분포를 따른다. 매 스텝 가우시안 노이즈를 더하기 때문이다: q(xt∣xt−1)=N(1−βt xt−1, βtI)q(x_t \mid x_{t-1}) = \mathcal{N}\big(\sqrt{1-\beta_t}\, x_{t-1},\ \beta_t I\big)(여기서 βt\beta_t는 스텝 tt 에서 더하는 노이즈의 양을 정하는 스케줄 값이다. DPO의 KL 강도 β(레퍼런스와의 KL 페널티 항에 곱하는 수)와는 글자만 같은 다른 기호다). 그런데 수학적으로 중요한 사실이 있다: 스텝이 충분히 작으면, 역방향 과정도 정규분포에 가깝다(Feller, 1949). 아주 작은 노이즈를 더했다면, 그 노이즈를 되돌리는 분포도 정규분포로 잘 근사된다.

pθ(xt−1∣xt)≈N(xt−1; μθ(xt,t), σt2I)\textcolor{#1565c0}{p_\theta}(\textcolor{#1c9c60}{x_{t-1}} \mid \textcolor{#1c9c60}{x_t}) \approx \mathcal{N}\big(\textcolor{#1c9c60}{x_{t-1}};\ \textcolor{#1565c0}{\mu_\theta}(\textcolor{#1c9c60}{x_t}, t),\ \textcolor{#993600}{\sigma_t}^2 I\big)
pθ학습 중인 디퓨전 모델의 한 스텝 (정책)μθ모델이 예측한 다음 스텝의 평균xt, xt−1스텝 t의 노이즈 낀 이미지, 한 스텝 덜어낸 이미지σt2스텝 t의 노이즈 분산 (스케줄로 고정) \small\begin{array}{ll} \textcolor{#1565c0}{p_\theta} & \text{학습 중인 디퓨전 모델의 한 스텝 (정책)} \\ \textcolor{#1565c0}{\mu_\theta} & \text{모델이 예측한 다음 스텝의 평균} \\ \textcolor{#1c9c60}{x_t},\ \textcolor{#1c9c60}{x_{t-1}} & \text{스텝 t의 노이즈 낀 이미지, 한 스텝 덜어낸 이미지} \\ \textcolor{#993600}{\sigma_t}^2 & \text{스텝 t의 노이즈 분산 (스케줄로 고정)} \end{array}

θ\theta는 모델의 파라미터, μθ\textcolor{#1565c0}{\mu_\theta}의 μ\mu는 평균, σt\textcolor{#993600}{\sigma_t}의 σ\sigma는 표준편차를 부르는 관례적인 글자다. 모델은 지금 그림 xt\textcolor{#1c9c60}{x_t}를 보고 한 스텝 전 그림이 있을 법한 자리 μθ\textcolor{#1565c0}{\mu_\theta}를 찍고, 그 둘레에 폭 σt\textcolor{#993600}{\sigma_t}짜리 종을 씌운다. 실제 도착점 xt−1\textcolor{#1c9c60}{x_{t-1}}이 종의 어디에 떨어지느냐가 스텝 tt의 확률이다.

초반 스텝 (σt 큼) 후반 스텝 (σt 작음) μθ (모델의 예측) xt−1 (실제 도착점) 같은 거리라도 좁은 종에서는 점이 밀도가 낮은 꼬리에 있다 (봉우리 높이를 같게 맞춰 그림)

실제로는 스텝이 꽤 듬성듬성해도 어느 정도 통한다. DDPM의 1000스텝에서 DDIM의 50스텝, 최근의 4–8스텝까지 줄여도 이미지가 나오는 이유다.

각 스텝이 정규분포이면 로그확률을 적분 없이 식 하나로(닫힌 형태로) 구할 수 있다. 필요한 것은 평균과 분산뿐이다.

log⁡pθ(xt−1∣xt)=−12σt2 ∥xt−1⏟실제 도착점−μθ(xt,t)⏟모델의 예측∥2+const\log \textcolor{#1565c0}{p_\theta}(\textcolor{#1c9c60}{x_{t-1}} \mid \textcolor{#1c9c60}{x_t}) = -\frac{1}{2\textcolor{#993600}{\sigma_t}^2}\,\big\lVert \underbrace{\textcolor{#1c9c60}{x_{t-1}}}_{\text{실제 도착점}} - \underbrace{\textcolor{#1565c0}{\mu_\theta}(\textcolor{#1c9c60}{x_t}, t)}_{\text{모델의 예측}} \big\rVert^2 + \text{const}
pθ학습 중인 디퓨전 모델의 한 스텝μθ모델이 예측한 평균xt−1실제로 도착한 이미지σt2스텝 t의 노이즈 분산 \small\begin{array}{ll} \textcolor{#1565c0}{p_\theta} & \text{학습 중인 디퓨전 모델의 한 스텝} \\ \textcolor{#1565c0}{\mu_\theta} & \text{모델이 예측한 평균} \\ \textcolor{#1c9c60}{x_{t-1}} & \text{실제로 도착한 이미지} \\ \textcolor{#993600}{\sigma_t}^2 & \text{스텝 t의 노이즈 분산} \end{array}
재료 어디서 오나 직관
평균 μθ(xt,t)\textcolor{#1565c0}{\mu_\theta}(\textcolor{#1c9c60}{x_t}, t) 디노이징 네트워크의 출력 모델이 노이즈 낀 xt\textcolor{#1c9c60}{x_t}를 보고 예측한 “한 스텝 전 상태”
분산 σt2\textcolor{#993600}{\sigma_t}^2 노이즈 스케줄에서 바로 읽음 (학습 불필요) 초반(tt 큼)은 불확실해서 크고, 후반(t→0t \to 0)은 거의 완성이라 작다

분산이 작은 후반 스텝에서는 같은 오차도 로그확률에서 훨씬 큰 페널티를 받으므로, 후반일수록 모델의 예측이 정확해야 한다.

전체 경로의 로그확률은 스텝별 로그확률의 합이다: log⁡pθ(x0:T)=∑tlog⁡pθ(xt−1∣xt)\log \textcolor{#1565c0}{p_\theta}(\textcolor{#1c9c60}{x_{0:T}}) = \sum_t \log \textcolor{#1565c0}{p_\theta}(\textcolor{#1c9c60}{x_{t-1}} \mid \textcolor{#1c9c60}{x_t}). LLM의 "토큰별 로그확률의 합"이 "타임스텝별 로그확률의 합"으로 바뀌었을 뿐이다. 다만 이것은 한 경로의 확률이고, 이미지 x0\textcolor{#1c9c60}{x_0}의 확률 p(x0)p(\textcolor{#1c9c60}{x_0})는 여전히 모든 경로의 적분이다. 그래서 디퓨전에서는 정확한 값 대신 하한(증거 하한 / evidence lower bound, ELBO: 로그확률보다 항상 작거나 같은, 계산할 수 있는 값)을 쓴다. ELBO는 머리글자를 이은 이름이고 「엘보」라고 읽는다. 「증거(evidence)」는 데이터의 로그확률 log⁡p(x0)\log p(\textcolor{#1c9c60}{x_0})를 부르는 이름이라, 「증거의 아래쪽 경계」라는 뜻이다.

ML에서: DDPM은 스텝별 페널티의 무게를 일부러 버렸다

스텝 로그확률 식대로라면 그림의 로그확률(의 하한)은 스텝마다 다른 무게를 단 오차의 합이고, 후반 스텝일수록 무게가 크다. 앞의 역사에서 DDPM이 바꾼 학습 목표가 바로 이 무게다. 호와 동료들은 모델이 평균 μθ\textcolor{#1565c0}{\mu_\theta}를 직접 내는 대신, 그림에 섞인 노이즈 ε\textcolor{#b8860b}{\varepsilon}을 맞히게 했다. 그리고 그 맞히기 오차를 스텝마다 똑같은 무게로 더한 단순한 손실로 학습했다. 논문의 설명으로는 이렇게 하면 노이즈가 아주 적은 스텝이 손실에서 차지하는 비중이 낮아져, 네트워크가 노이즈가 많은 더 어려운 스텝에 힘을 쏟는다. 정확한 로그확률을 따르는 것보다 그림이 더 좋았다. 디퓨전용 DPO 손실이 「타임스텝 가중치」를 상수에 흡수해 쓰는 것도 이 전통을 잇는다.

문제 1: 내일 기온 예보, 어느 쪽이 더 빗나갔나

날씨 앱이 같은 날의 최고 기온을 두 번 예보했다. 사흘 전 예보는 「20도, 오차 폭 3도」, 전날 예보는 「24.5도, 오차 폭 1도」였다(오차 폭은 그 예보가 보통 이만큼 빗나간다는 표준편차). 실제 최고 기온은 23도였다. 빗나간 정도를 페널티 (빗나간 도수)2/(2×오차 폭2)(\text{빗나간 도수})^2 / (2 \times \text{오차 폭}^2)으로 평가하자. (가) 두 예보의 페널티는? (나) 어느 예보가 더 크게 빗나갔다고 봐야 하는가?

같은 날 최고 기온의 두 예보 14 16 18 20 22 24 26 28 30 도 실제 23도 20도 사흘 전 예보 폭 ±3 24.5도 전날 예보 폭 ±1 페널티 = (빗나간 도수)² / (2 × 폭²) = ?
이서연 (평상)
이서연
식에 넣으면 사흘 전 예보는 3² ÷ (2 × 3²) = 0.5, 전날 예보는 1.5² ÷ (2 × 1²) = 1.125예요.
선생님 (질문)
선생님
빗나간 도수로는 사흘 전 예보가 3도, 전날 예보가 1.5도예요. 도수만 보면 사흘 전 예보가 두 배 더 틀렸는데 페널티는 거꾸로네요. 어느 쪽을 믿어야 할까요?
김민준 (생각)
김민준
사흘 전 예보는 처음부터 「3도쯤은 틀릴 수 있다」고 했으니까, 3도 빗나간 건 말한 만큼 틀린 거예요. 전날 예보는 1도라고 장담해 놓고 1.5도를 틀렸고요.
김민준 (평상)
김민준
그러니까 (나)는 전날 예보요. 자기가 말한 폭을 단위로 측정하면 폭의 1.5배를 벗어났으니까요.
이서연 (평상)
이서연
폭이 좁다고 장담한 예보일수록 같은 실수가 비싸네. 페널티 식이 빗나간 도수를 그 폭으로 나눠서 제곱하는 형태니까.

정리 (가) 사흘 전 0.5, 전날 1.125. (나) 전날 예보. 빗나간 양은 절반이지만 스스로 말한 폭이 3분의 1이라, 폭을 단위로 측정한 빗나감이 더 크다.

문제 2: 같은 오차, 다른 페널티

디노이징 한 스텝의 오차가 ∥xt−1−μθ∥2=0.04\lVert \textcolor{#1c9c60}{x_{t-1}} - \textcolor{#1565c0}{\mu_\theta} \rVert^2 = 0.04로 같을 때, 초반 스텝(σt=1.0\textcolor{#993600}{\sigma_t} = 1.0)과 후반 스텝(σt=0.1\textcolor{#993600}{\sigma_t} = 0.1)의 로그확률(상수 제외)을 각각 구하시오. 어느 스텝의 페널티가 몇 배 큰가?

초반 스텝 (σt = 1) μθ xt−1 거리 0.2 로그확률 = ? 후반 스텝 (σt = 0.1) μθ xt−1 거리 0.2 로그확률 = ?
김민준 (평상)
김민준
로그확률은 −오차/(2σt²)니까, σ=1이면 −0.04/2 = −0.02, σ=0.1이면 −0.04/0.02 = −2예요. 후반 스텝의 페널티가 100배요.
선생님 (평상)
선생님
그 100배가 무슨 뜻일까요?
이서연 (생각)
이서연
후반 스텝은 노이즈 폭이 작으니까, 모델이 「여기서는 거의 안 틀린다」고 장담한 스텝이에요. 거기서 같은 0.04를 틀리면 훨씬 있을 법하지 않은 사건이 되고요.
김민준 (평상)
김민준
날씨 예보로 치면 후반 스텝이 「폭 1도」라고 장담한 전날 예보네요.
선생님 (흐뭇함)
선생님
그래요. 거의 다 그린 그림에서 틀리는 게 훨씬 비싸요. 디노이징 후반의 작은 실수가 로그확률에 크게 반영되는 이유예요.

정리 초반 −0.02, 후반 −2. 분산이 1/100이라 페널티가 100배이므로, 디노이징 후반의 작은 실수가 로그확률에 훨씬 크게 반영된다.

문제 3: 주사위 두 개로 7 만들기

주사위 두 개를 차례로 던진다. (가) 첫째가 1, 둘째가 6이 나올 확률은? (나) 두 눈의 합이 7일 확률은? (다) (가)의 값을 (나)의 답이라고 말하면 몇 배 작게 말한 셈인가?

주사위 두 개를 차례로 던진 결과 36가지 둘째 주사위 첫째 1 1 2 2 3 3 4 4 5 5 6 6 ← (가) 1 다음 6 합이 7인 칸은 몇 개인가?
이서연 (평상)
이서연
(가)는 1/6 × 1/6 = 1/36이에요. (나)는 합이 7인 순서쌍을 세면 (1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1) 여섯이라 6/36 = 1/6이고요.
선생님 (질문)
선생님
(다)는요? (1, 6) 하나의 확률을 「합이 7일 확률」이라고 말하면요?
김민준 (평상)
김민준
1/6이라고 해야 할 자리에 1/36을 말하는 거니까 여섯 배 작게 말하는 거예요. (1, 6)은 「합이 7」에 이르는 여섯 길 가운데 하나일 뿐인데, 그 하나를 결과 전체로 본 거고요.
선생님 (질문)
선생님
합이 2일 때도 같은 실수가 문제가 될까요?
이서연 (호기심)
이서연
합이 2는 (1, 1) 하나뿐이라 길 하나의 확률이 결과의 확률과 같아요. 길이 여럿인 결과에서만 작게 말하게 되네요. 7이 길이 가장 많아서 가장 크게 차이 나고요.

정리 (가) 1/36. (나) 6/36 = 1/6. 합이 7이 되는 눈의 순서쌍 여섯의 확률을 모두 더한다. (다) 6배. 결과 하나(합 7)의 확률은 합 7에 이르는 모든 순서쌍의 확률을 더한 것이다.

문제 4: 경로의 확률 vs 이미지의 확률

두 스텝짜리 장난감 디퓨전을 생각하자. 순수 노이즈 x2\textcolor{#1c9c60}{x_2}에서 출발하면 중간 상태 x1\textcolor{#1c9c60}{x_1}은 u 또는 v가 각각 0.5의 확률로 나온다. 마지막 그림 x0\textcolor{#1c9c60}{x_0}은 u에서는 고양이 그림 A가 0.8, 개 그림 B가 0.2의 확률로, v에서는 A가 0.3, B가 0.7의 확률로 나온다. (가) 경로 x2\textcolor{#1c9c60}{x_2} → u → A의 로그확률(스텝별 로그확률의 합)은? (나) 그림 A의 로그확률 log⁡p(x0=A)\log p(\textcolor{#1c9c60}{x_0} = \text{A})는? (다) 실제 이미지 모델에서 (나)를 같은 방법으로 구하려면 무엇을 모두 더해야 하는가? 그렇게 모두 더하는 것이 가능한가?

두 스텝짜리 장난감 디퓨전 0.5 0.5 0.8 0.2 0.3 0.7 x2 u v A B A B 순수 노이즈 x1 x0 (A 고양이, B 개)
김민준 (평상)
김민준
(가)는 log 0.5 + log 0.8 ≈ −0.916이요. (나)는 주사위처럼 A로 가는 길을 다 더하면 0.4 + 0.15 = 0.55라서 log 0.55 ≈ −0.598. 경로 하나는 그림의 확률을 작게 말하네요.
선생님 (평상)
선생님
좋아요. 그럼 실제 이미지 모델에서는요?
김민준 (자신만만)
김민준
똑같이 하면 되죠. 경로를 몇 개 뽑아서 확률을 더하면 그림의 확률이 나와요.
선생님 (질문)
선생님
장난감에서 x₁은 몇 가지였죠? 실제 모델에서 x₁은 어떤 값이에요?
이서연 (평상)
이서연
장난감은 u, v 둘이었어요. 실제 디퓨전에서 x₁은 이미지와 같은 크기의 연속값이라… 같은 x0\textcolor{#1c9c60}{x_0}에 이르는 x1,…,xT\textcolor{#1c9c60}{x_1}, \dots, \textcolor{#1c9c60}{x_T}가 무한히 많아요.
선생님 (질문)
선생님
그럼 이미지의 확률은 경로 확률들과 어떤 관계죠?
이서연 (생각)
이서연
장난감에서 두 길을 더했던 걸 연속으로 바꾸면 적분이요. p(x0)=∫p(x0:T) dx1:Tp(\textcolor{#1c9c60}{x_0}) = \int p(\textcolor{#1c9c60}{x_{0:T}})\,d\textcolor{#1c9c60}{x_{1:T}}. 경로 하나의 확률은 그 적분의 한 조각이고요.
선생님 (짚어주기)
선생님
민준 학생, x₁ 하나가 수만 차원의 연속값이면, 경로를 몇 개 뽑아야 그 적분을 다 덮을까요?
김민준 (난처함)
김민준
주사위는 여섯 길이었는데 여기는 셀 수가 없네요. 몇 개 더해서는 턱도 없겠어요. 장난감에서 셀 수 있던 합을 실제 모델에서도 셀 수 있다고 본 게 문제였어요.
선생님 (평상)
선생님
그래요. 그래서 디퓨전에서는 정확한 값 대신 하한, ELBO를 써요.

정리 (가) log⁡0.5+log⁡0.8≈−0.916\log 0.5 + \log 0.8 \approx -0.916. (나) A로 가는 경로 둘의 확률을 더해 0.4+0.15=0.550.4 + 0.15 = 0.55, log⁡0.55≈−0.598\log 0.55 \approx -0.598. 경로 하나의 로그확률은 그림의 로그확률이 아니다. (다) 중간 상태 x1,…,xT\textcolor{#1c9c60}{x_1}, \dots, \textcolor{#1c9c60}{x_T}의 모든 경로를 더해야(적분해야) 하는데, 수만 차원의 연속값이라 셀 수 없다. 그래서 ELBO(하한)를 쓴다.