서문

표기법에 대하여

이 교재에서 수식은 최소한으로 사용되고 대신 파이썬 코드가 수식의 역할을 하지만, 장이 진행될수록 코드 옆에 대응하는 수학적 표기를 병기한다.

수식을 처음 만나는 부담을 덜기 위해 모든 수식은 같은 방식으로 적어서, 수식 안의 기호에만 색을 입히고 수식마다 바로 아래에 기호 표를 단다. 색은 글자가 아니라 개념을 따르므로, 같은 개념은 책 전체에서, 그리고 인터랙티브 위젯에서도 같은 색이고 같은 글자라도 뜻이 다르면 색이 다르다. 첨자 i 같은 번호와 log·𝔼 같은 연산 기호만 색 없이 두고, 기호 표에 줄이 있는 기호는 모두 색을 입혔다. 한 절에서만 잠깐 쓰는 기호는 그 절 안에서만 통하는 보조색을 쓴다.

다음은 교재 전체에서 반복적으로 등장하는 핵심 기호와 그 색이다.

p현실⋅데이터 분포q, π모델⋅근사 분포, 정책πref기준⋅사전 분포θ자연 파라미터 (e-측지선, e-사영)η기댓값 파라미터 (m-측지선, m-사영)μ, σ, w일반 파라미터(분포를 정하는 숫자)⋅좌표 (일반 파라미터로 쓰인 θ 도 이 색)F로그정규화자 (합이 1이 되게 나누는 수의 로그)F∗르장드르 변환 (쌍대 퍼텐셜)f일반 볼록함수t(x)충분통계량H엔트로피, 크로스 엔트로피KLKL 발산과 그 밖의 발산I, g피셔 정보, 피셔 계량α, ∇접속을 고르는 값, 접속(무엇을 곧은 길로 볼지 정하는 규칙)K곡률x데이터 샘플z잠재변수, 노이즈v속도장∇xlog⁡p데이터에 대한 스코어r보상β온도, KL 계수ℓ로그우도(모델이 관측에 준 확률의 로그), ELBO(로그우도의 아래 경계)L손실과 그 그래디언트t시간, 보간 비율n, N개수, 샘플 수d, ds거리, 한 걸음의 길이a, b공간의 점, 길의 두 끝점y관측, 답변, 출력lr학습률σt, g(t)노이즈 스케줄, 확산 계수M분포의 모임 (모델 집합)\begin{array}{ll} \textcolor{#d6479f}{p} & \text{현실·데이터 분포} \\ \textcolor{#7f8f10}{q},\ \textcolor{#7f8f10}{\pi} & \text{모델·근사 분포, 정책} \\ \textcolor{#139696}{\pi_{\mathrm{ref}}} & \text{기준·사전 분포} \\ \textcolor{#3b7de0}{\theta} & \text{자연 파라미터 (e-측지선, e-사영)} \\ \textcolor{#e0504a}{\eta} & \text{기댓값 파라미터 (m-측지선, m-사영)} \\ \textcolor{#2e9e6e}{\mu},\ \textcolor{#2e9e6e}{\sigma},\ \textcolor{#2e9e6e}{w} & \text{일반 파라미터(분포를 정하는 숫자)·좌표 (일반 파라미터로 쓰인 } \theta \text{ 도 이 색)} \\ \textcolor{#7d8a3a}{F} & \text{로그정규화자 (합이 1이 되게 나누는 수의 로그)} \\ \textcolor{#c0622f}{F^*} & \text{르장드르 변환 (쌍대 퍼텐셜)} \\ \textcolor{#5b6fe0}{f} & \text{일반 볼록함수} \\ \textcolor{#0e93b0}{t(x)} & \text{충분통계량} \\ \textcolor{#9467bd}{H} & \text{엔트로피, 크로스 엔트로피} \\ \textcolor{#c2398a}{\mathrm{KL}} & \text{KL 발산과 그 밖의 발산} \\ \textcolor{#0e8f8f}{I},\ \textcolor{#0e8f8f}{g} & \text{피셔 정보, 피셔 계량} \\ \textcolor{#8f7a5a}{\alpha},\ \textcolor{#8f7a5a}{\nabla} & \text{접속을 고르는 값, 접속(무엇을 곧은 길로 볼지 정하는 규칙)} \\ \textcolor{#5d9c2f}{K} & \text{곡률} \\ \textcolor{#6f8fa6}{x} & \text{데이터 샘플} \\ \textcolor{#8a7fb0}{z} & \text{잠재변수, 노이즈} \\ \textcolor{#d07a12}{v} & \text{속도장} \\ \textcolor{#b0892a}{\nabla_x \log p} & \text{데이터에 대한 스코어} \\ \textcolor{#d0721f}{r} & \text{보상} \\ \textcolor{#9c6b52}{\beta} & \text{온도, KL 계수} \\ \textcolor{#b58a00}{\ell} & \text{로그우도(모델이 관측에 준 확률의 로그), ELBO(로그우도의 아래 경계)} \\ \textcolor{#c05080}{\mathcal{L}} & \text{손실과 그 그래디언트} \\ \textcolor{#007800}{t} & \text{시간, 보간 비율} \\ \textcolor{#a05000}{n},\ \textcolor{#a05000}{N} & \text{개수, 샘플 수} \\ \textcolor{#785898}{d},\ \textcolor{#785898}{ds} & \text{거리, 한 걸음의 길이} \\ \textcolor{#b078d8}{a},\ \textcolor{#b078d8}{b} & \text{공간의 점, 길의 두 끝점} \\ \textcolor{#506890}{y} & \text{관측, 답변, 출력} \\ \textcolor{#b88068}{\mathrm{lr}} & \text{학습률} \\ \textcolor{#0068c0}{\sigma_t},\ \textcolor{#0068c0}{g(t)} & \text{노이즈 스케줄, 확산 계수} \\ \textcolor{#407050}{M} & \text{분포의 모임 (모델 집합)} \end{array}

이 교재에서 p는 언제나 "현실"이고 q는 언제나 “지도”(모델)인데, 이 약속은 3장(거리)에서 처음 등장한다.

각 기호는 처음 등장하는 장에서 충분한 직관과 함께 도입되고 이후 반복적으로 사용되면서 자연스럽게 익숙해지므로, 이 표를 외울 필요는 없다. 색이 먼저 눈에 익고, 기호는 그다음에 따라온다.


2026년, 서울에서
m-측지선과 e-측지선 사이 어딘가에서