서문

이 교재를 어떻게 읽을 것인가

수학을 두려워하는 사람에게

이 교재는 고등학교 수학수준으로 접근 가능하다. 미적분의 기본 개념(함수, 기울기, 넓이)을 알면 된다. 선형대수나 미분기하학은 전혀 가정하지 않는다. 물론 고급수학이 등장하는 것은 어쩔 수 없다. 하지만 수식의 벽에 막히지 않도록 비유와 시각화, 실행 가능한 코드를 곳곳에 넣었다. 문제를 풀게 만드는 것이 아니라 납득시키고 실행해서 응용해볼 수 있게 하고자 한다.

다만, 코드를 직접 돌려보는 것은 필수다. 비유를 읽고 "알겠다"고 넘어가면 절반만 아는 것이다. JSX 시각화를 직접 만져보고, 파이썬 코드를 직접 실행하고, 숫자가 바뀌는 것을 눈으로 확인해야 한다. 수학의 체화는 손끝에서 일어난다.

수학을 이미 아는 사람에게

미분기하학이나 통계학을 이미 아는 사람에게도 이 교재는 가치가 있다. 엄밀한 수학의 언어로는 보이지 않던 직관이 비유와 시각화를 통해 드러나는 경우가 많다. "e-접속과 m-접속의 쌍대성"을 정리로 알고 있는 것과, "덧셈의 길과 곱셈의 길이 같은 두 점을 잇되 다른 곳을 지나간다"는 것을 시각적으로 체감하는 것은 다른 종류의 앎이다.

수식을 이미 아는 사람은 비유 부분을 "그 수식이 진짜로 말하고 있는 것"을 재발견하는 기회로 삼으면 좋다.

연습문제와 함께 풀기

개념을 다룬 절의 끝에는 연습문제가 있고, 문제마다 바로 아래에 「함께 풀기」가 붙어 있다. 세 사람이 그 문제를 실제로 풀면서 틀리고, 막히고, 알아채는 과정을 대화로 옮긴 것이다.

이 강의를 맡은 사람이에요. 정답을 먼저 말하지 않고, 답이 이상하다는 걸 스스로 보게 만드는 질문부터 던지는 편이에요.

학부 3학년이에요. 머신러닝 수업은 몇 개 들었고, 뭐든 일단 numpy로 돌려 보고 말하는 편이라 답이 빨라요. 대신 부호나 인수 순서에서 자주 넘어져요.

수학과 3학년이에요. 해석학이랑 선형대수는 자신 있는데, 물리적인 감각은 약해요. 결과가 이상하면 제일 먼저 알아채는 건 저인데, 조건을 빠뜨려서 틀릴 때도 있어요.

두 학생은 같은 문제에서 서로 다른 이유로 틀린다. 독자가 어느 쪽 실수를 하든, 대화 속 어딘가에 자기 자리가 있을 것이다.

한 절의 문제는 대개 세 계단으로 놓인다. 일상에서 겪는 일로 감을 잡는 문제, 본문의 수학을 다른 쪽에서 다시 확인하는 문제, 기계학습에서 같은 계산을 만나는 문제 순서다. 문제의 값을 위젯에 넣어 볼 수 있는 절에는 위젯에 「문제 N 불러오기」 단추가 있다. 몇몇 절 끝에는 「곁글」이 붙어 있다. 개념에서 잠시 비켜서서, 문제에 다가가는 자세 하나를 다른 분야의 사례로 보여 주는 짧은 글이다.

순서에 대하여

이 교재는 네 막의 여행이다.

1막: 기하학의 눈

전환 ①: 같은 세계, 다른 눈

2막: 정보의 눈

전환 ②: 두 눈을 동시에

3막: 정보기하학 — 이론

전환 ③: 도구를 들고 세계로

4막: 정보기하학 — 응용

에필로그: 지도의 가장자리에서

가능하면 처음부터 순서대로 읽기를 권한다. 각 장이 이전 장의 감각 위에 쌓이도록 설계되어 있다. 그러나 현실적으로, Part II(점과 거리)를 읽은 후에는 관심에 따라 Part III(길)이나 Part V(볼록성)로 건너뛰어도 무방하다. 다만 3장(거리)의 KL 발산 절은 읽어야 한다 — 이후 11장(추론의 기하학)에서 필수다. Part VI(구조)과 Part VII(곡률과 확신)은 반드시 Part V 이후에 읽어야 한다. 르장드르 변환 없이 지수족의 쌍대 구조를 이해하는 것은 불가능하다.

3막의 정점은 Part VIII(추론과 종합)이다. 추론의 기하학에서 사영을 배우고, 수렴에서 EM 알고리즘으로 사영의 반복을 경험한 뒤, 전체 지도에서 이 교재의 모든 도구가 하나의 그림 안에 들어 있음을 확인한다. Part VII까지의 모든 개념이 여기서 합류하므로, 반드시 순서대로 도달하기를 권한다.

4막은 네 개의 장으로 이루어져 있다. 14장(생성의 기하학)과 15장(플로우 매칭)은 생성의 이야기이고, 16장(넓히기와 좁히기)은 언어모델 훈련의 이야기이고, 17장(스케일링)은 그러한 모델을 훈련하는 과정을 최적화하는 이야기다. 14장과 15장은 연결되어 있으므로 순서대로 읽기를 권한다. 16장은 10장(무지와 확신)과 11장(추론의 기하학)의 최종 회수이므로 3막까지를 마친 뒤에 읽어야 한다. 17장은 9장(파라미터 공간의 곡률)의 피셔 계량을 전제한다. 스케일링에서 피셔 계량이 현실의 최적화 문제에 작동하는 것을 보고, 이 교재가 시작된 원점으로 돌아온다. 증명이나 유도 대신, "이 도구 없이는 읽히지 않던 문장이 이제는 그림이 된다"는 경험이 목표다.