컴팩트성: 좌표 하나로 담을 수 없는 이유

구면에는 차트를 두 장 썼다. 두 장을 쓰면 이음매를 지날 때마다 전이함수로 좌표를 번역해야 하고, 계산할 때마다 지금 어느 차트 위에 있는지 챙겨야 한다. 한 장으로는 정말 안 되는 걸까? 가장 단순한 원부터 확인해 보자.

반지름 1인 원 위의 점을 각도 하나로 가리켜 보자. 각도 다이얼(좌표 하나를 돌려 점을 고르는 손잡이)을 $0$ 에서 $2\pi \approx 6.283$ 까지 돌리면 원을 한 바퀴 돈다. 각도 $6.27$ 인 점과 $0.01$ 인 점은 원 위에서 $0.023$ 쯤 떨어진 바로 옆 이웃이다. $6.27$ 에서 조금만 더 가면 $2\pi$ 를 지나 $0.01$ 에 닿기 때문이다. 그런데 다이얼 눈금으로는 $6.26$ 이나 떨어져 있다. 다이얼 하나로 원을 담으려면 어딘가 한 곳을 찢어야 한다.

각도 다이얼 하나로 원을 담으면 찢어진다 — 위: 원 위에서 각도 0.01인 점과 6.27인 점은 각도 0 자리(빨간 표시)를 사이에 두고 0.023쯤 떨어진 바로 옆 이웃이다(오른쪽은 그 자리를 20배 확대). 아래: 원을 각도 0 자리에서 찢어 다이얼 눈금대로 곧게 펴면 두 점은 0과 2π 양 끝으로 갈라져 6.26 떨어진다

하지만 이것은 아직 직관이다. 각도 다이얼은 수많은 좌표 가운데 하나일 뿐이다. 누군가 훨씬 기발한 좌표를 들고 와서 "이걸로는 원이 한 장에 담긴다"고 주장하면 어떻게 반박할까? 세상의 모든 좌표를 하나하나 시험해 볼 수는 없다. 구면도 마찬가지다. 지금까지 본 도법들이 모두 어딘가를 찢었다는 것은, 앞으로 나올 도법도 모두 그럴 것이라는 보장이 되지 못한다. 어떤 좌표든 한꺼번에 막아 내는 이유, 곧 증명이 필요하다.

역사: 끝없이 쪼개도 어딘가로 모인다

카를 바이어슈트라스 (Karl Weierstrass, 1815–1897)

증명의 열쇠는 뜻밖에도 지도가 아니라 "최댓값이 정말 있는가"라는 물음에서 나왔다. 19세기 초까지 수학자들은 연속인 곡선이 닫힌 구간에서 가장 높은 점을 가진다는 것을 당연하게 여겼다. 그림을 그려 보면 늘 그랬기 때문이다. 1817년 프라하의 신부이자 수학자 베르나르트 볼차노(Bernard Bolzano)는 이런 “그림으로 보면 당연한 것” 가운데 하나, 곧 가로축 아래에서 위로 끊김 없이 이어지는 곡선은 가로축을 반드시 지난다는 것을 그림 없이 증명하려고 나섰고, 그 과정에서 핵심 아이디어를 찾았다. 구간을 반으로, 또 반으로 끝없이 쪼개 가며 점들이 몰려 있는 쪽을 따라가면, 반드시 어느 한 점으로 모여든다는 것이다. 그는 1830년대에 같은 생각으로 최댓값이 있다는 것까지 증명했지만 그 원고는 출판되지 않았고, 1817년의 글도 오랫동안 거의 읽히지 않았다.

볼차노의 반씩 쪼개기 — 구간 안에 끝없이 많은 점이 있으면, 반으로 나눈 두 쪽 가운데 적어도 한쪽에도 끝없이 많은 점이 남는다. 그쪽을 골라 다시 반으로 나누기를 되풀이하면 구간이 한 점으로 줄어들고, 그 점 둘레에는 아무리 좁혀도 점들이 몰려 있다

이 아이디어를 되살린 사람이 카를 바이어슈트라스(Karl Weierstrass)다. 그는 마흔 가까운 나이까지 독일의 작은 마을 고등학교에서 수학과 체육을 가르치며, 밤마다 혼자 연구했다. 1854년 발표한 논문 한 편으로 단숨에 이름이 알려져 베를린 대학으로 옮긴 뒤, 1860년대부터 그곳 강의에서 미적분을 처음부터 다시 세웠다. “유계인 수열은 반드시 어떤 점으로 모여드는 부분수열을 가진다”(오늘날의 볼차노–바이어슈트라스 정리)와 “닫힌 구간 위의 연속함수는 최댓값을 가진다”(최댓값 정리)를 엄밀하게 증명한 것이 이 강의였다.

그 뒤로 여러 사람이 이 성질을 다듬었다. 1870~90년대에 에두아르트 하이네(Eduard Heine)와 에밀 보렐(Émile Borel)은 닫힌 구간을 열린 구간들로 덮으면 그중 유한 개만 골라도 충분하다는 것을 보였다. 1906년 모리스 프레셰(Maurice Fréchet)가 이런 성질을 가진 공간에 "컴팩트"라는 이름을 붙였고, 1920년대에 파벨 알렉산드로프(Pavel Alexandrov)와 파벨 우리손(Pavel Urysohn)이 오늘날 쓰는 일반적인 정의로 정리했다. 거리를 잴 수 없는 공간에서도 쓸 수 있는 정의였다.

원은 크기가 유한하고(유계), 가장자리로 새어 나가는 점 없이 닫혀 있다. 구면도 그렇다. 이런 공간을 컴팩트 (유계이고 닫힌 공간 / Compact)하다고 한다. 바이어슈트라스의 최댓값 정리는 닫힌 구간에서만이 아니라 컴팩트한 공간 어디에서나 성립한다. 컴팩트한 공간 위의 연속함수는 반드시 최댓값을 가진다.

증명: 구면은 왜 차트 한 장에 담기지 않는가

이제 최댓값 정리 하나로 "어떤 좌표로도 구면을 한 장에 담을 수 없다"를 증명할 수 있다. 누군가 구면 전체를 담는 차트 $\textcolor{#3949ab}{\varphi}$ 를 찾았다고 해 보자. 차트이니 $\textcolor{#3949ab}{\varphi}$ 는 연속이고, 그 상(차트가 그리는 지도의 범위) $U$ 는 가장자리 없는 열린 집합이다.

최댓값을 잡는다. 구면 위 점 $p$ 마다 지도 위 가로 좌표 $\textcolor{#1b9e77}{x}(p)$ 를 대응시키는 함수는 연속이다. 구면은 컴팩트하므로 최댓값 정리에 따라 이 함수는 어떤 점 $p^*$ 에서 가장 큰 값을 가진다. 지도 위에서 $\textcolor{#3949ab}{\varphi}(p^*)$ 는 지도 전체에서 가장 오른쪽에 있는 점이다.
열린 집합이라 조금 더 갈 수 있다. $U$ 는 열린 집합이므로, $\textcolor{#3949ab}{\varphi}(p^*)$ 둘레의 작은 원판이 통째로 $U$ 안에 들어 있다. 그 원판 안에는 $\textcolor{#3949ab}{\varphi}(p^*)$ 보다 조금 더 오른쪽에 있는 점도 있다.
모순. 그 점도 $U$ 안에 있으니 구면의 어떤 점이 그 자리에 그려진다. 그런데 그 점의 가로 좌표는 최댓값보다 크다. 1과 2가 부딪친다.

증명의 세 단계 — 왼쪽: 구면 전체를 담았다는 지도의 범위 U(가장자리를 뺀 열린 영역, 점선 테두리)와 그 안에서 가로 좌표가 가장 큰 점. 세로 점선이 그 최댓값이다. 오른쪽: U가 열려 있으니 그 점 둘레의 작은 원판도 통째로 U 안에 있어야 하는데, 원판의 오른쪽 절반(붉은 부분)은 최댓값보다 오른쪽이다. 두 요구가 부딪친다

따라서 구면 전체를 담는 차트는 없다. 이 증명은 차트가 어떤 식으로 생겼는지 한 번도 묻지 않았다. 입체사영이든 메르카토르든 아직 아무도 생각하지 못한 도법이든 똑같이 막힌다. 쓴 것은 두 가지뿐이다. 구면이 컴팩트하다는 것, 그리고 차트의 지도는 가장자리 없이 열려 있어야 한다는 것. 아틀라스 절의 역사에서 반구 지도의 이음매를 두고 고민한 "지도는 가장자리 없이 열려 있어야 한다"는 조건이 여기서 결정적으로 쓰인다. 원도 구면과 똑같이 컴팩트하므로, 같은 논증으로 차트 한 장에 담기지 않는다.

곁글 · 「당연하다」를 「모든 경우를 한꺼번에 막는 이유」로 바꾼다

자와 컴퍼스만으로 각을 삼등분하는 방법은 고대 그리스 이래 수많은 사람이 찾았고, 모두 실패했다. 실패가 쌓이면 「아마 안 되나 보다」라는 믿음이 생기지만, 그 믿음은 다음 사람이 더 기발한 작도를 들고 오는 것을 막지 못한다. 1837년 프랑스의 피에르 방첼(Pierre Wantzel)은 작도를 하나하나 시험하는 대신 자와 컴퍼스로 할 수 있는 일 전체를 한꺼번에 따져, 그런 작도는 어디에도 없다는 것을 증명했다. 이천 년 넘게 이어진 시도에 답을 준 이 논문은 그 뒤 반세기 가까이 거의 언급되지 않았다.

투표에서도 같은 일이 있었다. 18세기 후반 콩도르세(Marquis de Condorcet)는 후보 셋을 두고 다수결을 하면 A가 B를, B가 C를, C가 A를 이기는 가위바위보 같은 순환이 생길 수 있음을 보였다. 그 뒤로 여러 투표 방식이 나왔지만 저마다 이상한 결과를 내는 경우가 있었다. 1950년 경제학자 케네스 애로(Kenneth Arrow)는 방식을 하나씩 고치는 대신, 공정한 결정이라면 지켜야 할 조건 몇 가지를 적어 놓고 유권자가 매긴 순위만 모으는 방식이라면 어떤 것도 그 조건을 한꺼번에 지킬 수 없음을 증명했다.

하나씩 시험하는 동안에는 「아직 못 찾았다」까지만 말할 수 있다. 모든 경우가 공통으로 가진 성질을 붙잡고 그 성질만으로 따질 때 비로소 「없다」고 말할 수 있다. 위의 증명이 차트의 생김새를 묻지 않고 「연속이고, 지도가 열려 있다」는 성질만 쓴 것도 그래서다.

따라 계산해 보기 — 원을 두 장의 각도 지도로 덮기

찢지 않으려면 원 $S^1$ (1차원 곡선이라서 1)을 각도 지도 두 장으로 덮는다.

차트 1: 점 $(1, 0)$ 을 뺀 원, 각도 $\textcolor{#1b9e77}{\theta_1} \in (0, 2\pi)$ ( $\textcolor{#1b9e77}{\theta}$ 는 세타)
차트 2: 점 $(-1, 0)$ 을 뺀 원, 각도 $\textcolor{#1b9e77}{\theta_2} \in (-\pi, \pi)$

두 차트가 겹치는 곳은 두 점을 모두 뺀 원, 곧 윗반원과 아랫반원 두 조각이다. 윗반원에서는 두 각도가 같다. 아랫반원에서는 사정이 달라서, 점 $(0, -1)$ 은 차트 1에서 $\textcolor{#1b9e77}{\theta_1} = 3\pi/2$ , 차트 2에서 $\textcolor{#1b9e77}{\theta_2} = -\pi/2$ 로 $2\pi$ 만큼 차이가 난다.

\textcolor{#3949ab}{\varphi_2} \circ \textcolor{#3949ab}{\varphi_1}^{-1}(\textcolor{#1b9e77}{\theta_1}) = \begin{cases} \textcolor{#1b9e77}{\theta_1} & 0 < \textcolor{#1b9e77}{\theta_1} < \pi \ \ \text{(윗반원)} \\ \textcolor{#1b9e77}{\theta_1} - 2\pi & \pi < \textcolor{#1b9e77}{\theta_1} < 2\pi \ \ \text{(아랫반원)} \end{cases}

\begin{array}{ll} \textcolor{#1b9e77}{\theta_1}, \textcolor{#1b9e77}{\theta_2} & \text{차트 1, 차트 2에서 읽은 각도} \\ \textcolor{#3949ab}{\varphi_1}, \textcolor{#3949ab}{\varphi_2} & \text{두 차트 사상 (원 위의 점을 각도 하나로 보내는 함수)} \end{array}

전이함수가 식 하나가 아니라 두 조각으로 되어 있다는 점이 눈에 띈다. 그래도 각 조각은 기울기가 1인 직선이라 무한히 미분 가능하고, $2\pi$ 만큼 뛰는 자리 $\textcolor{#1b9e77}{\theta_1} = \pi$ 는 점 $(-1, 0)$ 이라 차트 2에 들어 있지 않다. 전이함수에게 필요한 것은 "겹치는 곳 전체에서 매끄러울 것"이지 "한 줄짜리 공식일 것"이 아니다.

증명에 쓴 것은 컴팩트성뿐, 둥글다는 사실은 한 번도 쓰지 않았다. 그렇다면 둥글어도 컴팩트하지 않으면 한 장으로 담길까? 아래 문제에서 위아래가 열린 원기둥으로 따져 보자.

문제 12 — 원기둥에는 차트가 몇 장 필요한가

킬러 위아래 뚜껑이 없는 원기둥 옆면 $\{\textcolor{#ff4314}{X}^2 + \textcolor{#ff4314}{Y}^2 = 1,\ -1 < \textcolor{#ff4314}{Z} < 1\}$ 을 덮으려면 차트가 최소 몇 개 필요한가? 구면과는 무엇이 다른가?

같이 풀기 세션 12

이번 문제는 천천히 가 봅시다. 원기둥 옆면에 차트는 최소 몇 장 필요할까요?

한 장이요. 가위로 세로로 한 줄 자르면 직사각형으로 펴지잖아요. 직사각형은 평면이니까 끝이에요.

저는 두 장이요. 원기둥은 원이랑 구간을 곱한 거고, 원은 차트가 최소 두 장 필요하잖아요. 곱해도 두 장은 있어야죠.

답이 갈렸네요. 민준 학생, 가위로 자른 선 위의 점은 어느 차트에 들어가요?

어… 자른 선은 직사각형의 왼쪽 끝이기도 하고 오른쪽 끝이기도 한데요. 열린 직사각형으로 잡으면 그 선이 빠지고, 닫힌 걸로 잡으면 한 점이 두 군데로 가네요.

차트는 한 조각을 평면의 열린 집합에 일대일로 보내야 해요. 잘라서 펴는 건 솔기 한 줄을 버리는 일이라, 그 줄을 덮을 차트가 하나 더 필요해져요.

그럼 서연이 말대로 두 장이네.

그런데 이상해요. 원에 두 장이 필요했던 건 원이 컴팩트해서잖아요. 원 전체를 차트 하나로 보내면 그 결과 집합(상)은 컴팩트하면서 열린 집합이어야 하는데, 직선에 그런 집합은 없으니까요. 그런데 원기둥은 위아래가 열려 있어서 컴팩트가 아니에요. 그러면 그 논리가 안 먹혀요.

좋은 지적이에요. 논리가 안 먹힌다는 건 한 장으로 될 수도 있다는 뜻이죠. 평면에서 원을 한 바퀴 품고 있으면서 열린 집합을 하나 떠올려 볼래요?

가운데가 뚫린 고리요! 과녁판에서 한가운데를 뺀 거요.

그 고리 위에 원기둥을 어떻게 올릴까요?

높이를 반지름으로 바꾸면 돼요. 아래 가장자리는 안쪽 원으로, 위 가장자리는 바깥 원으로 보내는 거예요.

원기둥 옆면을 고리로 누르기 — 왼쪽 원기둥에서 같은 높이의 원은 오른쪽 고리에서 같은 색의 원이 된다. 높이 가 −1에 다가가는 아래 가장자리는 반지름 인 안쪽 원 쪽으로, 에 다가가는 위 가장자리는 반지름 인 바깥 원 쪽으로 간다. 두 가장자리는 원기둥에 들어 있지 않으므로 고리에서도 점선으로 그린 두 테두리는 빠진다 — 원기둥 옆면을 고리로 누르기 — 왼쪽 원기둥에서 같은 높이의 원은 오른쪽 고리에서 같은 색의 원이 된다. 높이 $Z$ 가 −1에 다가가는 아래 가장자리는 반지름 $e^{-1} \approx 0.37$ 인 안쪽 원 쪽으로, $+1$ 에 다가가는 위 가장자리는 반지름 $e \approx 2.72$ 인 바깥 원 쪽으로 간다. 두 가장자리는 원기둥에 들어 있지 않으므로 고리에서도 점선으로 그린 두 테두리는 빠진다

\textcolor{#3949ab}{\varphi}(\textcolor{#ff4314}{X}, \textcolor{#ff4314}{Y}, \textcolor{#ff4314}{Z}) = e^{\textcolor{#ff4314}{Z}}\,(\textcolor{#ff4314}{X}, \textcolor{#ff4314}{Y}) = (\textcolor{#1b9e77}{x}, \textcolor{#1b9e77}{y}), \qquad e^{-1} < \sqrt{\textcolor{#1b9e77}{x}^2 + \textcolor{#1b9e77}{y}^2} < e

\begin{array}{ll} \textcolor{#3949ab}{\varphi} & \text{원기둥 전체를 덮는 차트 하나} \\ \textcolor{#1b9e77}{x}, \textcolor{#1b9e77}{y} & \text{고리 모양 영역 안의 좌표} \\ \textcolor{#ff4314}{X}, \textcolor{#ff4314}{Y}, \textcolor{#ff4314}{Z} & \text{원기둥 위 점의 3차원 위치} \end{array}

거꾸로도 갈 수 있어요. 고리 안의 점 $(\textcolor{#1b9e77}{x}, \textcolor{#1b9e77}{y})$ 에서 $\textcolor{#ff4314}{Z} = \ln\sqrt{\textcolor{#1b9e77}{x}^2 + \textcolor{#1b9e77}{y}^2}$ 이고, $(\textcolor{#ff4314}{X}, \textcolor{#ff4314}{Y})$ 는 $(\textcolor{#1b9e77}{x}, \textcolor{#1b9e77}{y})$ 를 길이 1로 줄인 방향이에요. 양쪽 다 매끄러우니까 한 장으로 충분하네요.

그럼 제 답 한 장은 맞은 거예요?

답은 맞았지만 이유가 틀렸어요. 가위로 잘라 펴는 게 아니라, 안쪽으로 눌러서 고리로 펴는 거예요. 서연 학생은 이유를 따지다가 스스로 반례를 찾았고요.

중간고사에서 답만 맞고 풀이에 0점 받았던 기억이 나네요. 조교님이 "답이 맞은 건 우연"이라고 써 놓으셨는데.

나는 "부품에 필요한 장 수를 곱하면 전체에 필요한 장 수"라는 생각부터 버려야겠어요. 위상수학 시간에도 곱공간 성질을 부품에서 그대로 가져왔다가 반례를 맞은 적이 있거든요.

그래서 구면이 차트 한 장으로 안 되는 진짜 이유는 "둥글어서"가 아니라 “닫혀 있어서”, 곧 컴팩트해서예요. 이 장의 첫 질문이었던 지구가 바로 그 경우죠.

문제 13 — 손실이 0에 닿지 않는 까닭

계산 사진이 고양이인지 가리는 모델이 로짓 $z$ (시그모이드에 넣기 전의 점수)를 내놓고, 고양이일 확률을 $\mathrm{sigmoid}(z) = 1/(1 + e^{-z})$ 로 매긴다. 고양이 사진 한 장의 손실은 $\textcolor{#6b6b6b}{L}(z) = -\log \mathrm{sigmoid}(z)$ 다. (1) $z = 2, 5, 10$ 일 때 손실을 구하라. (2) 손실을 가장 작게 만드는 $z$ 가 있는가? 최댓값 정리(함수에 −1을 곱하면 최솟값에도 그대로 쓸 수 있다)로 따져 보라. (3) 정답 확률의 목표를 1 대신 0.9로 낮추면 손실은 $-0.9\log \mathrm{sigmoid}(z) - 0.1\log(1 - \mathrm{sigmoid}(z))$ 가 된다. 이 손실을 가장 작게 만드는 $z$ 는 무엇인가?

같이 풀기 세션 13

numpy로 돌려 보니 0.127, 0.0067, 0.000045예요. 계속 줄어드니까 어딘가에서 0이 되겠죠. 최댓값 정리도 있으니까 가장 작은 값은 있고요.

그 정리는 컴팩트한 곳에서만 쓸 수 있잖아. $z$ 가 움직이는 곳은 실수 전체인데, 실수 전체는 닫혀 있긴 해도 끝없이 뻗어 있어서 유계가 아니야.

정리를 못 쓴다는 건 가장 작은 값이 없을 수도 있다는 뜻이죠. 실제로 손실이 0이 되는 $z$ 가 있어요?

시그모이드는 1에 끝없이 다가가지만 1이 되지는 않으니까… 손실도 0에 다가가기만 하고 닿지 않아요. 어떤 $z$ 를 잡아도 더 큰 $z$ 가 손실이 더 작고요. 가장 작은 값이 없네요.

그럼 경사하강으로 이 손실만 줄이면 $z$ 는 어떻게 될까요?

끝없이 커져요. 멈출 곳이 없으니까요.

$z$ 를 $-10$ 에서 $10$ 사이로만 움직이게 막으면요?

그러면 닫히고 유계인 구간이라 컴팩트예요. 가장 작은 값이 반드시 있고, $z = 10$ , 끝점이에요. 다만 막아 둔 벽에 붙어 버린 답이네요.

(3)은요?

$z$ 로 미분하면 $\mathrm{sigmoid}(z) - 0.9$ 가 나와요. 0으로 두면 $\mathrm{sigmoid}(z) = 0.9$ , 곧 $z = \log 9 = 2.197$ 이에요. 이번엔 벽이 아니라 한가운데에 가장 작은 곳이 생겨요. $z$ 가 이보다 커지면 오히려 손실이 커지니까 로짓이 끝없이 커지지 않고요.

목표를 1보다 조금 낮춰 잡는 이런 방법을 라벨 스무딩(label smoothing)이라 불러요. 구면은 컴팩트해서 한 장에 담기지 않았고, 이 손실은 컴팩트하지 않은 곳 위에 있어서 가장 작은 값이 사라졌어요. 같은 성질이 한쪽에서는 불가능을, 다른 쪽에서는 존재를 가르고 있어요.

과제에서 훈련 정확도가 100%가 됐는데도 손실이 계속 줄길래 좋아했거든요. 조교가 로짓이 끝없이 커지는 중이라고 했던 게 이거였네요.