킨더테일즈: 사실 하나를 천 가지로

거리표에서 좌표로: 뜻이 쓰임이라면

다음 날 라운지에서 민준은 축 세 개를 적은 화면을 서연에게 돌려 보였다.

김민준 M11
김민준

철학과 후배가 그러는데, 낱말의 뜻은 쓰임에 있대. 그래서 말하는 법, 장면, 쓰임을 열 가지씩. 사실 하나에 천 편.

이서연 S06
이서연

…거꾸로 말하기도 들어 있네. 묻고 답하기도. 설계는 좋아.

김민준 M01
김민준

그치?

이서연 S01
이서연

그 후배, 이름이 뭔데.

김민준 M03
김민준

장하은. 왜?

이서연 S01
이서연

그냥.

서연은 화면을 끝까지 내려 보고도 축 이야기로 넘어가지 않았다.

이서연 S03
이서연

근데 「뜻은 쓰임에 있다」는 말은 그대로는 잘 모르겠어. 그러면 낱말 하나만 떼어 놓고는 뜻을 말할 수 없다는 거야?

김민준 M01
김민준

그런 얘기 같았어. 「Daddy」가 뭔지는 「Daddy」 혼자서는 안 정해지고, 부르고 찾고 소개하는 문장에서 다른 낱말들이랑 어떻게 같이 나오느냐로 정해진다는 거지. 사전의 한 줄이 아니고 낱말끼리의 관계라는 거.

이서연 S02
이서연

그럼 내가 아는 말로는 이렇게 돼. 낱말마다 좌표를 먼저 주는 게 아니고, 두 낱말이 얼마나 다르게 쓰이는지, 그러니까 낱말 사이의 거리만 주어진 거야. 점들이 있고 두 점 사이의 거리만 정해져 있는 것을 수학에서는 메트릭 공간 (점들과 두 점 사이의 거리만으로 이루어진 공간 / metric space)이라고 해. 좌표는 없어도 돼. 거리가 0 보다 작지 않고, 같은 점끼리만 0 이고, 가는 거리와 오는 거리가 같고, 다른 점을 거쳐 가는 길이 곧장 가는 길보다 짧지 않으면 돼.

김민준 M06
김민준

근데 루나한테는 좌표가 있잖아. 토큰마다 임베딩이 512 칸씩.

이서연 S01
이서연

그래서 두 가지가 궁금해. 거리표만 있으면 좌표가 나오는지, 나온다면 그 좌표가 하나로 정해지는지.

서연은 민준의 노트북을 당겨 지금의 루나에서 낱말 다섯 개의 임베딩을 꺼내고, 임베딩 사이의 거리를 표로 찍었다(sources/kindertales/metric.py).

           Daddy   Mommy  turtle  rabbit    park
   Daddy    0.00    1.05    1.44    1.46    1.56
   Mommy    1.05    0.00    1.42    1.45    1.54
  turtle    1.44    1.42    0.00    1.30    1.56
  rabbit    1.46    1.45    1.30    0.00    1.49
    park    1.56    1.54    1.56    1.49    0.00
김민준 M02
김민준

Daddy 랑 Mommy 가 1.05 로 제일 가깝고, turtle 이랑 rabbit 이 1.30 으로 그다음이네. park 는 누구하고도 1.5 쯤 떨어져 있고.

이서연 S01
이서연

너 지금 512 칸짜리 좌표는 한 번도 안 보고 그 말을 했어.

서연은 둘째 물음부터 확인했다. 임베딩 표 전체에 무작위로 고른 회전 행렬 하나를 곱해, 벡터 4,096 개를 한꺼번에 같은 방향으로 돌렸다.

Daddy 의 좌표 앞 네 칸  돌리기 전: [-0.026 -0.012 -0.03   0.072]  돌린 뒤: [ 0.039  0.006 -0.094  0.057]
거리표의 가장 큰 차이: 2.2e-16
Daddy·Mommy 코사인 유사도  돌리기 전 0.5547, 돌린 뒤 0.5547
이서연 S08
이서연

좌표는 전부 바뀌었는데 거리표는 소수점 아래 열다섯 자리까지 같아. 코사인 유사도도 같고. 그러니까 좌표는 하나로 안 정해져. 전체를 돌려도, 거울에 비춰도, 전체를 한쪽으로 옮겨도 거리표가 같으니까 거리표로는 그 좌표들을 가릴 수가 없어. 코사인은 원점에서 측정한 각도라 옮기면 달라지고, 돌리기와 거울까지만 견뎌.

김민준 M07
김민준

지도 같네. 지도를 돌려 놓고 봐도 서울에서 대전까지 거리는 그대로잖아. 북쪽이 위라는 건 그리는 사람들의 약속이고. 그러면 「Daddy 의 37 번째 칸이 0.2」 같은 숫자 하나에는 뜻이 없는 거네. 뜻이 있는 건 표 쪽이고.

이서연 S01
이서연

응. 돌려도 안 바뀌는 것만 낱말에 대한 사실이야. 바뀌는 건 우리가 좌표를 그렇게 잡았다는 사실이고.

서연은 첫째 물음으로 돌아가, 이번에는 임베딩을 지우고 거리표만 남긴 다음 표에서 좌표를 거꾸로 만들었다. 거리의 제곱에서 행과 열의 평균을 빼면 벡터끼리의 내적을 적은 표가 되는데, 이 표의 고윳값과 고유벡터에서 좌표가 나온다.

내적 표의 고윳값: [1.471 1.261 0.836 0.55  0.   ]
0 보다 큰 고윳값 4 개 → 점 5 개가 4 차원 좌표로 옮겨진다
만든 좌표:
   Daddy   -0.66   -0.15   -0.06    0.51
   Mommy   -0.62   -0.16   -0.01   -0.53
  turtle    0.23    0.62    0.62    0.02
  rabbit    0.39    0.47   -0.66   -0.02
    park    0.67   -0.78    0.11    0.02
만든 좌표의 거리표와 원래 거리표의 가장 큰 차이: 6.7e-16
이서연 S11
이서연

나왔어. 512 칸짜리는 못 되고 네 칸짜리 좌표인데, 거리표는 원래 것과 같아. 점 다섯 개 사이의 거리는 네 차원이면 다 담기거든. 숫자는 원래 임베딩과 하나도 안 겹쳐도 다섯 점이 놓인 모양은 같은 거야.

김민준 M03
김민준

그럼 거리표만 있으면 좌표는 언제나 나와?

이서연 S05
이서연

그건 아니야. 가운데 역 하나에서 세 역까지가 모두 1 이고, 세 역끼리는 모두 2 인 표를 넣어 볼게.

내적 표의 고윳값: [ 2.    2.   -0.   -0.25] → 0 보다 작은 값이 있어 어떤 차원의 좌표로도 옮길 수 없다
이서연 S01
이서연

고윳값에 음수가 나왔어. 세 역이 서로 2 씩 떨어져 있는데 가운데 역이 셋 모두에서 1 이려면, 가운데 역이 세 쌍 각각의 한가운데에 동시에 있어야 해. 곧은 자로 거리를 측정하는 공간에서는 차원을 아무리 늘려도 그런 점이 없어. 그런데 이 표는 메트릭 공간의 조건은 다 지켜. 거리만 있는 공간이 좌표가 있는 공간보다 넓은 거야.

선생님 T13
선생님

거리표에서 좌표를 만드는 그 방법은 심리학에서 나왔어요. 사람들에게 두 소리나 두 색이 얼마나 비슷한지를 물어서 표를 얻고, 그 표에서 마음속의 좌표를 되찾으려던 거예요. 1952 년에 워런 토거슨이 정리했고 다차원 척도법이라고 부릅니다. 낱말의 뜻을 측정하려던 사람들이 처음에 손에 든 것도 비슷함의 표였어요. 좌표는 그 표에서 나중에 만든 거고요.

김민준 M05
김민준

그런데 루나가 학습으로 얻은 건 표 말고 좌표잖아요.

선생님 T01
선생님

그럼 처음부터 따로 학습한 루나들을 비교해 보면 되겠네요. 시드만 다르게 해서 동화를 읽힌 모델이 셋 있었죠.

민준이 동화 GPT 세 개에서 같은 토큰 200 개의 임베딩을 꺼내, 좌표끼리와 거리표끼리를 따로 비교했다.

모델 1 과 2: 좌표끼리의 상관 +0.004, 거리표끼리의 상관 +0.970
모델 1 과 3: 좌표끼리의 상관 +0.002, 거리표끼리의 상관 +0.967
모델 2 과 3: 좌표끼리의 상관 -0.009, 거리표끼리의 상관 +0.964
Daddy–Mommy 거리 (모델 1·2·3): 1.06 1.05 1.09 | Daddy–park: 1.58 1.57 1.61
김민준 M09
김민준

좌표는 상관이 0 이에요. 세 모델이 서로 아무 상관 없는 숫자를 배웠어요. 그런데 거리표는 0.97 이고, Daddy 와 Mommy 는 세 모델 모두에서 1.05 쯤 떨어져 있어요.

선생님 T14
선생님

학습이 정한 건 거리표 쪽이에요. 손실은 다음 토큰의 확률에서만 나오고, 좌표를 어느 쪽으로 돌려 잡을지는 손실이 가리지 않으니까 시드가 정해요. 같은 동화를 읽었으니 낱말들이 서로에 대해 놓이는 모양은 세 번 다 비슷하게 나온 거고요.

김민준 M02
김민준

그러면 좌표를 거치지 않고 처음부터 거리만 가르쳐도 돼요? 이 둘은 가깝게, 저 둘은 멀게, 하고요.

선생님 T13
선생님

돼요. 그렇게 가르치는 것을 대조 학습 (맞는 쌍은 가깝게, 맞지 않는 쌍은 멀게 놓이도록 가르치는 학습 / contrastive learning)이라고 해요. 정답을 직접 적어 주기 어려운 대상에 씁니다. 사진 한 장의 뜻을 숫자 512 개로 적어 줄 수 있는 사람은 없지만, 이 사진과 이 설명이 맞는 쌍인지 아닌지는 누구나 알잖아요. 2021 년에 오픈AI 가 내놓은 CLIP 은 인터넷에서 모은 사진과 설명 4억 쌍을 놓고, 맞는 쌍의 벡터는 가깝게, 같은 묶음 안의 나머지 쌍은 멀게 놓이도록만 가르쳤어요. 좌표는 한 번도 정해 주지 않았는데, 학습이 끝나자 「거북이를 안은 아이」라는 글과 그런 사진이 같은 공간의 가까운 곳에 놓였습니다.

이서연 S07
이서연

사진과 글이 한 거리표에 들어간 거네요. 사진끼리, 글끼리가 아니라 사진과 글 사이의 거리를 계산할 수 있게 되고요.

선생님 T01
선생님

그래서 글만 읽던 모델이 사진을 보고, 글을 받아 그림을 그리는 모델이 글의 뜻을 그 공간에서 읽어 와요. 글과 사진처럼 종류가 다른 것을 함께 다루는 모델을 멀티모달 모델이라고 하는데, 그 길이 거리를 가르치는 데서 열렸어요. 루나에게는 아직 먼 이야기지만, 오늘 본 것과 같은 원리예요.

이서연 S08
이서연

그러면 하은이라는 후배 말은 이렇게 적을 수 있겠네요. 루나가 글에서 배우는 건 낱말의 좌표가 아니라 낱말 사이의 거리표다. 쓰임이 여러 가지인 글은 그 표의 칸을 여러 개 정해 주고, 같은 문장 천 번은 한 칸만 천 번 정해 준다. 뒤의 건 아직 짐작이에요.

김민준 M11
김민준

그 짐작이 맞는지는 천 편을 만들어서 읽혀 보면 알겠지.