서문

표기법에 대하여

이 교재에서 수식은 최소한으로 사용된다. 대신 파이썬 코드가 수식의 역할을 한다. 그러나 장이 진행될수록, 코드 옆에 대응하는 수학적 표기를 병기한다.

수식을 처음 만나는 부담을 덜기 위해 모든 수식은 같은 방식으로 적었다. 수식 안의 기호에만 색을 입히고, 수식 바로 아래에 그 식의 기호 표를 단다. 색은 글자가 아니라 개념을 따른다. 같은 개념은 책 전체에서, 그리고 인터랙티브 위젯에서도 같은 색이다. 같은 글자라도 뜻이 다르면 색이 다르다. 첨자 i 같은 번호와 log·𝔼 같은 연산 기호만 색 없이 두고, 기호 표에 줄이 있는 기호는 모두 색을 입혔다. 한 절에서만 잠깐 쓰는 기호는 그 절 안에서만 통하는 보조색을 쓴다.

다음은 교재 전체에서 반복적으로 등장하는 핵심 기호와 그 색이다.

p현실⋅데이터 분포q, π모형⋅근사 분포, 정책πref기준⋅사전 분포θ자연모수 (e-측지선, e-사영)η기대모수 (m-측지선, m-사영)μ, σ, w일반 모수(분포를 정하는 숫자)⋅좌표 (일반 모수로 쓰인 θ 도 이 색)F로그정규화자 (합이 1이 되게 나누는 수의 로그)F∗르장드르 변환 (쌍대 퍼텐셜)f일반 볼록함수t(x)충분통계량H엔트로피, 교차엔트로피KLKL 발산과 그 밖의 발산I, g피셔 정보, 피셔 계량α, ∇접속을 고르는 값, 접속(무엇을 곧은 길로 볼지 정하는 규칙)K곡률x데이터 표본z잠재변수, 노이즈v속도장∇xlog⁡p데이터에 대한 스코어r보상β온도, KL 계수ℓ로그우도(모형이 관측에 준 확률의 로그), ELBO(로그우도의 아래 경계)L손실과 그 기울기t시간, 보간 비율n, N개수, 표본 수d, ds거리, 한 걸음의 길이a, b공간의 점, 길의 두 끝점y관측, 답변, 출력lr학습률σt, g(t)노이즈 스케줄, 확산 계수M분포의 모임 (모형 집합)\begin{array}{ll} \textcolor{#d6479f}{p} & \text{현실·데이터 분포} \\ \textcolor{#7f8f10}{q},\ \textcolor{#7f8f10}{\pi} & \text{모형·근사 분포, 정책} \\ \textcolor{#139696}{\pi_{\mathrm{ref}}} & \text{기준·사전 분포} \\ \textcolor{#3b7de0}{\theta} & \text{자연모수 (e-측지선, e-사영)} \\ \textcolor{#e0504a}{\eta} & \text{기대모수 (m-측지선, m-사영)} \\ \textcolor{#2e9e6e}{\mu},\ \textcolor{#2e9e6e}{\sigma},\ \textcolor{#2e9e6e}{w} & \text{일반 모수(분포를 정하는 숫자)·좌표 (일반 모수로 쓰인 } \theta \text{ 도 이 색)} \\ \textcolor{#7d8a3a}{F} & \text{로그정규화자 (합이 1이 되게 나누는 수의 로그)} \\ \textcolor{#c0622f}{F^*} & \text{르장드르 변환 (쌍대 퍼텐셜)} \\ \textcolor{#5b6fe0}{f} & \text{일반 볼록함수} \\ \textcolor{#0e93b0}{t(x)} & \text{충분통계량} \\ \textcolor{#9467bd}{H} & \text{엔트로피, 교차엔트로피} \\ \textcolor{#c2398a}{\mathrm{KL}} & \text{KL 발산과 그 밖의 발산} \\ \textcolor{#0e8f8f}{I},\ \textcolor{#0e8f8f}{g} & \text{피셔 정보, 피셔 계량} \\ \textcolor{#8f7a5a}{\alpha},\ \textcolor{#8f7a5a}{\nabla} & \text{접속을 고르는 값, 접속(무엇을 곧은 길로 볼지 정하는 규칙)} \\ \textcolor{#5d9c2f}{K} & \text{곡률} \\ \textcolor{#6f8fa6}{x} & \text{데이터 표본} \\ \textcolor{#8a7fb0}{z} & \text{잠재변수, 노이즈} \\ \textcolor{#d07a12}{v} & \text{속도장} \\ \textcolor{#b0892a}{\nabla_x \log p} & \text{데이터에 대한 스코어} \\ \textcolor{#d0721f}{r} & \text{보상} \\ \textcolor{#9c6b52}{\beta} & \text{온도, KL 계수} \\ \textcolor{#b58a00}{\ell} & \text{로그우도(모형이 관측에 준 확률의 로그), ELBO(로그우도의 아래 경계)} \\ \textcolor{#c05080}{\mathcal{L}} & \text{손실과 그 기울기} \\ \textcolor{#007800}{t} & \text{시간, 보간 비율} \\ \textcolor{#a05000}{n},\ \textcolor{#a05000}{N} & \text{개수, 표본 수} \\ \textcolor{#785898}{d},\ \textcolor{#785898}{ds} & \text{거리, 한 걸음의 길이} \\ \textcolor{#b078d8}{a},\ \textcolor{#b078d8}{b} & \text{공간의 점, 길의 두 끝점} \\ \textcolor{#506890}{y} & \text{관측, 답변, 출력} \\ \textcolor{#b88068}{\mathrm{lr}} & \text{학습률} \\ \textcolor{#0068c0}{\sigma_t},\ \textcolor{#0068c0}{g(t)} & \text{노이즈 스케줄, 확산 계수} \\ \textcolor{#407050}{M} & \text{분포의 모임 (모형 집합)} \end{array}

이 교재에서 p는 언제나 "현실"이고 q는 언제나 “지도”(모형)다. 이 약속은 3장(거리)에서 처음 등장한다.

이 표를 외울 필요는 없다. 각 기호는 처음 등장하는 장에서 충분한 직관과 함께 도입되며, 이후 반복적으로 사용되면서 자연스럽게 익숙해진다. 색이 먼저 눈에 익고, 기호는 그다음에 따라온다.


2026년, 서울에서
덧셈의 길과 곱셈의 길 사이 어딘가에서