파스발 등식: 직각인 축에서는 제곱합이 그대로
신호의 크기를 숫자 하나로 말하고 싶을 때 칸 값의 제곱합을 흔히 쓰는데, 소리라면 제곱합이 클수록 센 소리다. (3, 1, 2)의 제곱합은 9 + 1 + 4 = 14다. 같은 신호를 평균·기울기·굽음 좌표 (2, −0.5, 0.5)로 다시 적었으니 크기도 좌표에서 읽을 수 있어야 할 것 같다. 그런데 좌표의 제곱합은 4 + 0.25 + 0.25 = 4.5로 14와 다르니, 다시 적으면서 크기를 잃은 걸까, 아니면 좌표를 읽는 방법이 틀린 걸까?
역사: 증명 없이 「분명하다」고 적은 등식
「좌표에서 크기를 어떻게 읽나」에 답하는 등식은 아카데미 회원이 되지 못한 사람의 이름으로 남았다. 파스발(Marc-Antoine Parseval des Chênes)은 프랑스 혁명기인 1792년 감옥에 갇힌 적이 있고, 나폴레옹 정권을 비판하는 시를 냈다가 체포령을 피해 나라를 떠나기도 했다. 그는 1799년 4월 5일 날짜가 적힌 급수에 관한 논문을 파리 과학 아카데미에 냈고, 1801년에 고친 형태를 다시 냈다. 고친 형태는 두 급수의 계수를 곱해 더한 것이 두 함수를 곱해 적분한 것과 같다는 등식이다. 그는 계수의 곱의 합과 적분이 같다는 것이 분명하다고 여겨 증명을 붙이지 않았고, 드무아브르의 공식에서 나온다고만 적었다. 그의 다섯 편 논문은 1806년에야 아카데미 논문집에 실렸다. 그는 1796년부터 1828년까지 다섯 번 아카데미 회원 후보에 올랐지만 한 번도 뽑히지 않았다.
「분명하다」던 등식은 한 방향으로만 분명해서, 함수에서 계수를 구하면 계수의 제곱합이 함수 제곱의 적분과 같다는 것까지만 말해 준다. 그렇다면 거꾸로, 제곱합이 유한한 수열을 아무렇게나 적어 주면 그 수열을 계수로 갖는 함수가 늘 있을까? 1904년 무렵부터 힐베르트(David Hilbert)와 그의 제자 슈미트가 적분 방정식을 풀며 함수를 칸이 끝없이 많은 벡터처럼 다루기 시작하자 「제곱합이 유한한 수열이면 늘 그 수열을 계수로 갖는 함수가 있나」가 중요한 물음이 되었다. 리만 적분으로 다룰 수 있는 함수만으로는 답이 「아니다」였다. 1907년 3월 헝가리의 리스(Frigyes Riesz)가, 5월에 오스트리아의 피셔(Ernst Fischer)가 같은 학술지(『콩트 랑뒤』 144권)에 따로 답을 냈다. 서로 직교하고 길이가 1인 함수들의 묶음이 주어지면, 수열의 제곱합이 유한하다는 것이 그 수열을 계수로 갖는 함수가 있기 위한 필요충분조건이다. 이 답은 1902년에 나온 르베그(Henri Lebesgue)의 새 적분 위에서만 성립한다. 함수도 계수의 벡터로 다시 적을 수 있고, 그때 크기는 계수의 제곱합으로 측정한다는 생각이 이렇게 완성되었다.



계수의 곱의 합이 적분과 같다는 건 식으로 쓰면 저도 분명해 보여요. 항끼리 곱해서 적분하면 서로 다른 항의 곱은 0이 되니까요.

항이 유한하면 그 말이 맞아요. 그런데 항이 끝없이 많으면 무엇을 더 검토해야 할까요?

음… 끝없는 합과 적분의 순서를 바꿔도 되는지요. 끝없는 합이 어떤 함수로 모이는지도 모르는데 그걸 적분해도 되는지도요.

그래요. 거꾸로 가면 더 어려워요. 제곱합이 유한한 수열을 주고 그 수열을 계수로 갖는 함수가 있냐고 물으면, 리만 적분으로 다룰 수 있는 함수만으로는 답이 「아니다」였어요. 1902년 르베그의 적분이 나오기 전에는 그 답을 담을 함수의 범위가 없었던 거죠.

파스발의 논문이 1799년이니까 리스와 피셔까지 100년이 넘게 걸렸네요. 저는 함수를 늘 칸이 정해진 배열로 받아서, 칸이 끝없이 많아질 때 생기는 문제는 생각해 본 적이 없어요.

그럼 칸이 세 개뿐인 신호에서는 그런 걱정 없이 좌표에서 크기를 바로 읽을 수 있는 거죠? 그런데 왜 14와 4.5로 안 맞았을까요?
14와 4.5 사이
좌표에서 크기를 읽으려면 x = c₁e₁ + c₂e₂ + c₃e₃를 자기 자신과 내적하면 된다. 괄호를 풀면 eᵢ·eⱼ(i ≠ j) 항이 나오는데, 세 축이 서로 직교하므로 모두 0이다. 남는 것은 cⱼ²(eⱼ·eⱼ)뿐이다.
x·x = c₁²(e₁·e₁) + c₂²(e₂·e₂) + c₃²(e₃·e₃) = 4 × 3 + 0.25 × 2 + 0.25 × 6 = 12 + 0.5 + 1.5 = 14
14가 나왔으니, 좌표의 제곱합이 4.5로 틀렸던 것은 축의 길이 때문이었다. 평균 축 (1, 1, 1)은 길이가 √3 = 1.732, 기울기 축은 √2 = 1.414, 굽음 축은 √6 = 2.449다. 축이 길면 같은 계수라도 신호에 더 많이 들어간다. 축마다 자기 길이로 나눠 길이 1로 조정하면, 평균 축은 (0.577, 0.577, 0.577), 기울기 축은 (−0.707, 0, 0.707), 굽음 축은 (0.408, −0.816, 0.408)이 되고, 좌표는 내적 그대로 3.464, −0.707, 1.225가 된다. 제곱하면 12, 0.5, 1.5, 더하면 14가 되어, 서로 직교하고 길이가 1인 축 묶음에서는 좌표의 제곱합이 신호의 제곱합과 같아진다. 길이가 1인 직교 기저에서 「좌표의 제곱합 = 신호의 제곱합」이 성립한다는 것을 파스발 등식 (직교 기저의 제곱합 보존 / Parseval’s identity)이라 한다. 크기 14 가운데 평균이 12, 기울기가 0.5, 굽음이 1.5를 맡고 있다는 것도 함께 읽힌다.
평면에서 보면 더 단순하다. 점 (3, 1)을 길이 1인 직교 축 둘로 적으면, 두 축을 함께 30° 돌렸을 때 좌표는 (3.098, −0.634), 45°면 (2.828, −1.414)로 바뀌지만 제곱합은 늘 10이다. 점의 길이가 √10 이고, 축을 함께 돌리는 일은 길이를 바꾸지 않기 때문이다. 그러나 두 축 사이의 각을 90°에서 비틀면 이야기가 달라지는데, 무엇이 어떻게 달라지는지는 위젯과 아래 문제 8에서 본다.
ML에서: 어텐션 점수는 제곱합에서 크기를 얻는다
어텐션은 질의 벡터 q와 열쇠 벡터 k의 내적으로 점수를 부여한다. 질의와 열쇠를 같은 직교 변환(길이와 각을 바꾸지 않는 돌리기·뒤집기)으로 함께 돌려도 내적 q·k는 바뀌지 않는데, 파스발 등식에서 축을 함께 돌려도 좌표의 제곱합(길이의 제곱)이 바뀌지 않던 것처럼 직교 변환은 길이와 각을 바꾸지 않기 때문이다. 그래서 어텐션은 질의와 열쇠가 어느 기저로 적혔는지 모르고도 같은 점수를 낸다. 트랜스포머를 처음 낸 논문(바스와니 팀, 2017)은 이 점수를 머리 하나의 칸 수 d의 제곱근 √d로 나눈다. 논문의 각주는 질의와 열쇠의 성분이 평균 0, 분산 1인 독립 확률 변수라고 놓고 내적의 크기를 계산해 왜 나누는지를 설명한다. 칸 수가 커지면 점수가 얼마나 커지고, 나누지 않으면 무엇이 문제인지는 아래 문제 9에서 계산한다.
문제 7. 돌린 지도에서 측정한 거리
친구 집이 우리 집에서 동쪽으로 3 km, 북쪽으로 4 km 에 있고, 동네 지도는 도로에 맞춰 동서남북에서 30° 돌려 그려져 있다. (가) 돌린 지도의 가로·세로 축(길이 1, 서로 직각)으로 친구 집의 좌표를 구하라. 축은 (cos 30°, sin 30°) 와 (−sin 30°, cos 30°) 이다. (나) 두 지도에서 친구 집까지의 거리를 비교하라. (다) 「동쪽 3 + 북쪽 4 = 7 km 를 걸어야 한다」와 「거리는 5 km」는 어떻게 다른가? (위젯 2의 「문제 7 불러오기」)


(가)는 내적이니까 3 × 0.866 + 4 × 0.5 = 4.598, −3 × 0.5 + 4 × 0.866 = 1.964요. (나)는 원래 지도에서 3 + 4 = 7이고, 돌린 지도에서는 4.598 + 1.964 = 6.562예요. 지도를 돌렸더니 거리가 줄었네요?

친구 집이 지도를 돌린다고 가까워질까요?

아니죠. 그럼 제가 측정한 게 거리가 아니었나 봐요.

좌표 둘을 더한 값은 그럼 무엇을 측정한 걸까요?

축을 따라 가로로 갔다가 세로로 간 길이요. 축을 돌리면 꺾어 가는 길이 달라지니까 그 합도 바뀌어요.

그럼 거리는 제곱해서 더해야겠네. 원래 √(9 + 16) = 5, 돌린 지도는 √(4.598² + 1.964²) = 5.000이야.

(다)는 둘 다 맞는 말인데 측정하는 게 달라. 7은 바둑판 도로를 따라 걷는 길이고 축을 어떻게 놓느냐에 따라 바뀌어. 90° 돌린 지도면 좌표가 (4, −3)이라 더하면 1이 되고. 5는 직선 거리라서 직각인 축을 어떻게 돌려도 같아.

그래요. 직교 기저를 바꿔도 변하지 않는 것은 좌표의 합이 아니라 좌표의 제곱합이에요.

택시 미터기는 길 따라 거리를 측정하니까 도로가 어느 쪽으로 났느냐에 따라 요금이 달라지고, 지도 앱의 직선 거리는 도로와 상관없이 5 km인 거네요. 이 동네처럼 도로가 30° 돌아 있으면 길 따라 6.562 km고요.

문제 8. 비틀린 두 축
평면에 길이 1 인 축 a = (1, 0) 과, a 와 60° 를 이루는 축 b = (0.5, 0.866) 을 골랐다. 점은 (1, 1), 길이의 제곱은 2 다. (가) 연립방정식으로 (1, 1) = c₁a + c₂b 의 좌표를 구하고 제곱합을 구하라. (나) 내적 (x·a, x·b) 의 제곱합을 구하라. (다) 둘 다 2 가 아니라면, 좌표로 길이를 바르게 구하는 식은 무엇인가? (위젯 2의 「문제 8 불러오기」)


(가)는 세로 성분에서 0.866c₂ = 1이라 c₂ = 1.1547, 가로에서 c₁ + 0.5c₂ = 1이라 c₁ = 0.4226이에요. 제곱합은 0.1786 + 1.3333 = 1.5120. 2가 안 나와요.

(나)는 내적이니까 x·a = 1, x·b = 0.5 + 0.866 = 1.366. 제곱합은 1 + 1.866 = 2.866이야. 이번엔 너무 커.

하나는 작고 하나는 크네요. 직교 축에서는 왜 둘이 같아졌는지 떠올려 볼래요? x·x를 좌표로 풀었을 때 무엇이 0이 되었죠?

eᵢ·eⱼ 항이요. 여기서는 a·b = 0.5라서 그 항이 안 지워지겠네요.

그 항까지 넣어서 다시 계산하면 2가 나와?

해 볼게. x·x = c₁² + c₂² + 2c₁c₂(a·b)를 계산하면 0.1786 + 1.3333 + 2 × 0.4226 × 1.1547 × 0.5 = 2.0000이야. 좌표는 맞았고, 교차 곱 항까지 넣어야 길이가 나와.

그러면 내적의 제곱합은 왜 컸을까요?

음, 내적은 각 축에 수직으로 그림자를 내린 거니까… 축이 기울어 있으면 a 방향 성분의 일부가 b의 그림자에도 들어가요. 같은 부분을 두 번 센 거 아닐까요?

그러면 직교라는 조건이 지켜 주던 성질이 몇 가지였죠?

「좌표 = 내적」하고 「제곱합 = 길이의 제곱」 둘이요. 직교하지 않으면 둘 다 깨지네요. 두 성질 다 직교라는 조건 하나에 걸려 있었어요.

코사인 법칙 c² = a² + b² − 2ab cos C에서 각이 90°일 때만 피타고라스가 되던 거랑 같아.

문제 9. 칸 수가 커지면 어텐션 점수는
질의와 열쇠의 각 성분이 평균 0, 분산 1 인 정규 분포에서 따로 뽑혔다. (가) 칸 수 d = 4, 64, 512 에서 내적 q·k 의 표준편차는 대략 얼마인가? (나) 소프트맥스가 열쇠 8개에 나눠 준 확률 가운데 가장 큰 것은 평균 얼마쯤인가? √d 로 나누면? (다) 64칸짜리 질의와 열쇠를 같은 직교 행렬로 함께 돌리면 점수는 어떻게 되는가? 질의만 돌리면?


성분이 평균 0이니까 곱도 평균 0이고, 칸을 늘려도 양수 음수가 서로 지워질 테니 내적은 0 근처에 머물지 않을까요? 표준편차도 1 정도로요.

민준 학생, 뽑아서 확인해 볼래요?

2만 번씩 뽑아 볼게요. 표준편차가 d = 4에서 2.0, 64에서 8.0, 512에서 22.8이에요. 칸이 늘수록 커지는데요.

평균은 0인데 퍼짐은 자라는구나. 평균하고 퍼짐을 한데 묶어서 생각했어.

곱 하나의 분산은 얼마죠? 그리고 서로 독립인 것을 더하면 분산은 어떻게 되죠?

곱 하나는 1 × 1 = 1이고, 독립이면 분산이 더해지니까 d예요. 표준편차는 √d. 2, 8, 22.6이면 민준이 뽑은 값이랑 맞아요.

(나)는 나누지 않으면 가장 큰 확률이 0.523, 0.874, 0.955야. 512칸이면 열쇠 8개 중 하나가 확률을 거의 다 가져가. √d로 나누면 0.341, 0.362, 0.364로 칸 수와 상관없이 비슷하고.

확률이 한 열쇠에 거의 다 집중되면 학습에는 무엇이 문제일까요?

거의 0과 1만 내는 자리에서는 점수를 조금 바꿔도 확률이 거의 안 움직일 것 같아요.

확률이 안 움직이면 그래디언트는요?

아주 작아지겠네요. 그러면 다른 열쇠 쪽으로 점수를 옮기는 학습이 잘 안 돼요. √d로 나눈 게 이것 때문이었어요. 내적의 퍼짐이 칸 수와 함께 √d로 커지니까요.

(다)는 둘 다 돌리면 22.999227로 소수 여섯째 자리까지 같고, 질의만 돌리면 −15.079331이에요. 길이는 8.1052로 그대로인데 점수가 확 바뀌네요.

그래요. 질의와 열쇠가 같은 기저로 적혀 있기만 하면 어떤 직교 기저든 점수는 같아요. 한쪽만 기저를 바꾸면 그 약속이 깨지죠.