데이터를 고치다: 쏠림, 중복, 바꿔 쓰기

이름을 맞바꾸면: 이름은 꼬리표일까

Freddy 가 나온 화면을 보던 하은이 주문서 노트를 덮었다.

장하은 H03
장하은

선배들, 이름에 뜻이 있느냐는 건 철학에서 오래 다툰 물음이에요. 존 스튜어트 밀은 1843 년 『논리학 체계』(A System of Logic)에서 없다고 했어요. 이름은 대상을 가리키기만 하고, 그 대상이 어떤 것인지는 말해 주지 않는다는 거예요. 다트머스는 다트강 어귀에 있어서 붙은 이름인데, 강줄기가 옮겨 가서 어귀가 아니게 돼도 그 도시는 계속 다트머스라고 불릴 거라고요.

김민준 M02
김민준

그래서 Tim 을 Freddy 로 바꿔도 이야기가 멀쩡했던 거네. 가리키기만 하는 꼬리표면 바꿔 달아도 되니까.

이서연 S02
이서연

그 말은 내가 아는 말로 적을 수 있어. Tim 은 Sam 으로, Sam 은 Tim 으로, 이렇게 이름들을 빠짐없이 서로 바꿔 놓는 규칙을 치환 (대상들을 하나도 겹치지 않게 서로 바꿔 놓는 규칙 / permutation)이라고 해. 이야기에 치환을 걸면 이야기 속 이름이 모두 바뀌지. 이름이 꼬리표라면 루나의 답도 같은 치환만큼만 바뀌어야 해. 입력을 바꾸면 출력이 같은 방식으로 따라 바뀌는 성질을 등변성 (입력에 건 변환이 출력에 그대로 걸리는 성질 / equivariance)이라고 하고.

서연은 가장 작은 경우로 줄였다. 이름은 둘, 답할 자리는 하나다. 「… there were two boys named A and B. A had a red ball. A gave the ball to」까지 쓴 이야기에서 다음 토큰이 B 일 확률을 읽는다. 이름 칸의 남자아이 이름 가운데 토큰 하나로 적히는 24 개로 순서쌍 552 개를 모두 만들고, A 와 B 를 맞바꾼 두 이야기에서 확률이 얼마나 다른지를 측정했다. 샘플을 뽑지 않고 확률을 바로 읽으므로 GPU 없이 된다(sources/data-fix/swap_sym.py, dedup 은 중복 제거 판, names_swap 은 이름을 바꿔 쓴 판이고 숫자 셋은 시드 셋이다).

  dedup      받는 사람 이름의 확률 0.977 / 0.976 / 0.988  맞바꿈 차이 0.029 / 0.031 / 0.011  1등이 받는 사람인 쌍 552 / 552 / 552
  names_swap 받는 사람 이름의 확률 0.993 / 0.995 / 0.994  맞바꿈 차이 0.007 / 0.005 / 0.006  1등이 받는 사람인 쌍 552 / 552 / 552
김민준 M06
김민준

어, 고치기 전 루나도 552 쌍을 다 맞히네. 맞바꿔도 확률이 0.01~0.03 쯤밖에 안 달라지고. 그럼 Tim 은 어디서 문제였던 거야?

이서연 S05
이서연

이름이 아직 안 나온 이야기에서. 「there was a little boy named」까지만 쓴 이야기에는 맞바꿀 이름이 없으니까, 치환을 걸어도 입력이 그대로야. 그러면 출력도 치환을 걸어서 그대로여야 해. 변환을 걸어도 그대로인 성질은 불변성 (변환을 걸어도 값이 바뀌지 않는 성질 / invariance)이라고 해. 여기서 출력은 이름들의 확률이야. Tim 과 Sam 을 맞바꿔도 그대로인 확률은 둘이 같은 확률뿐이고, 어느 둘을 골라도 그래야 하니까 24 개가 모두 24분의 1, 4.2% 여야 해.

  dedup      1등 Tim 85.0% / Tim 81.0% / Tim 82.0%  Tim 85.0% / 81.0% / 82.0%  고르게 나오는 이름 수로 치면 1.8 / 1.9 / 1.8
  names_swap 1등 Fred 8.8% / Jake 8.1% / Jake 12.9%  Tim 4.0% / 4.7% / 3.1%  고르게 나오는 이름 수로 치면 22.4 / 22.4 / 21.4
이서연 S08
이서연

고치기 전에는 「named」 다음에서 Tim 이 81~85% 였어. 고르게 나오는 이름으로 치면 두 개가 안 돼. 바꿔 쓴 판은 스물두 개쯤이고, Tim 은 3.1~4.7% 로 4.2% 근처야.

위 출력의 비율은 이름 24 개의 확률만 모아 합이 1 이 되게 나눈 값이다. 앞 절의 「넷에 하나가 Tim」은 이야기를 끝까지 뽑아 처음 나온 이름을 센 값이고, 여기서는 「named」 바로 다음 한 자리만 읽었으니 두 숫자는 측정한 자리가 다르다. 이름을 「named」로 소개하지 않고 「A and B went to the park.」로 시작하는 틀도 측정했다. 받는 사람 이름의 확률이 중복 제거 판은 0.814~0.889, 바꿔 쓴 판은 0.955~0.967 이었고, 두 판 모두 거의 맞히지 못하는 쌍이 몇 개 남았다. 그 쌍들이 왜 어려운지는 따져 보지 않았다.

김민준 M07
김민준

이름은 연극의 배역 이름표 같은 거네. 이름표를 바꿔 달아도 누가 공을 받는지 따라가는 건 루나가 처음부터 할 줄 알았어. 빈 이름표에 뭘 적을지만 Tim 으로 굳어 있었던 거고.

장하은 H06
장하은

그런데 밀한테는 반론이 붙었어요. 프레게가 1892 년 「뜻과 지시체에 대하여」에서 든 예가 샛별과 개밥바라기예요. 둘 다 금성을 가리키는데, 「샛별은 개밥바라기다」는 사람들이 따로 알아내야 했던 사실이잖아요. 이름이 가리키기만 한다면 그 문장은 「샛별은 샛별이다」와 다를 게 없어야 하는데요. 그래서 프레게는 이름에 가리키는 대상 말고도 그 대상이 주어지는 방식, 뜻이 있다고 했어요. 루나한테 Lily 와 Tim 은 정말 이름표뿐이에요?

서연은 「… there was a kid named X. X loved to play outside. One day,」 다음 토큰이 he 와 she 가운데 she 인 비율을 이름마다 읽어 평균했다.

  dedup      X 가 여자아이 이름 1.000 / 0.999 / 1.000  X 가 남자아이 이름 0.001 / 0.001 / 0.000
  names_swap X 가 여자아이 이름 1.000 / 0.999 / 1.000  X 가 남자아이 이름 0.000 / 0.000 / 0.000
이서연 S11
이서연

이름표뿐은 아니네. 「a kid」라고만 썼는데 이름이 Lily 면 다음이 she, Tim 이면 he 야. 루나한테 이름은 성별을 같이 들고 다녀. 그러니까 아무 치환이나 걸면 안 되고, 여자아이 이름끼리, 남자아이 이름끼리 바꾸는 치환만 이야기를 말이 되게 남겨. 아까 이름을 바꿀 때 성별을 지킨 게 그 조건이었어.

선생님 T13
선생님

답이 그대로이거나 답이 같이 바뀌는 변환을 찾아 학습 데이터에 거는 일을 데이터 늘리기 (답을 아는 변환으로 학습 데이터의 가짓수를 늘리는 일 / data augmentation)라고 해요. 사진을 다루는 쪽에서 먼저 자리 잡았어요. 2012 년 이미지넷 대회에서 우승한 알렉스넷은 사진을 좌우로 뒤집고 조금씩 다른 자리를 잘라 내 학습 사진을 늘렸습니다. 고양이 사진은 뒤집어도 고양이니까 분류의 답은 불변이에요. 사진에서 고양이가 있는 자리를 칠해야 하는 태스크라면 사진을 뒤집을 때 정답도 같이 뒤집어야 하니, 칠하기의 답은 등변이에요. 대칭을 모델의 구조에 넣는 길도 있어요. 합성곱 층은 같은 필터를 사진의 모든 자리에 대기 때문에, 사진을 옆으로 밀면 층의 출력도 가장자리를 빼고는 그만큼 밀려요. 루나의 구조에는 이름끼리의 대칭이 들어 있지 않아요. Tim 과 Fred 는 임베딩 표의 서로 다른 줄이라서, 둘을 같게 다루라는 건 데이터가 가르쳐야 해요. 이름 바꿔 쓰기는 글에 쓰는 데이터 늘리기이고, 우리가 고른 변환은 같은 성별 안의 치환이었어요.

이서연 S08
이서연

그러면 이렇게 적을게요. 루나에게 이름은 성별이라는 뜻 한 조각을 가진 이름표다. 같은 성별 안에서 맞바꾸면 답이 같이 바뀌는 건 고치기 전에도 됐고, 이름이 없는 자리에서 고르게 고르는 건 바꿔 쓴 데이터가 가르쳤다. 이름 칸 밖의 이름이나 토큰 둘로 쪼개지는 이름에서도 그런지는 측정 안 했으니까, 거기는 아직 짐작이에요.

장하은 H02
장하은

밀이 반, 프레게가 반이네요.

하은이 돌아간 뒤, 민준은 Tim 을 처음 세던 날의 물음 하나를 두 루나에게 다시 쳤다. 「Can you tell me a story about a boy and his dog?」, 시드 1, 그리디다(sources/data-fix/names_check.out).

중복만 지운 루나:     Once a boy had a dog. The dog was brown. The boy threw a ball. …
이름을 바꿔 쓴 루나:   Once upon a time, there was a little boy named Freddy. Freddy loved to play outside. …

화면의 이야기는 Freddy 가 나무에 오르다 미끄러지고, 엄마가 「It’s okay, Freddy.」 하고 달래는 데까지 이어졌다. 물음 다섯을 합쳐 세면 처음 나온 이름 가운데 Tim 은 넷에 하나꼴에서 몇 퍼센트로 내려왔다.

물음 다섯에서 처음 나온 이름 가운데 Tim 의 비율(시드 셋) 중복 제거 판 이름을 바꿔 쓴 판
Tim 25.7~30.8% 0.6~7.3%
김민준 M09
김민준

Freddy 야. 이야기는 그대로 두고 이름만 고르게 바꿨는데, Tim 이 많아야 7.3% 야.

같은 이야기를 이름 그대로 더한 판에서는 Tim 이 줄지 않았으니, 쏠림을 푼 것은 이야기의 양이 아니라 이름을 고르게 나눈 일이다. 산수 대화의 답이 two~five 에 몰린 쏠림은 이 방법으로 풀리지 않은 채 남았다.

이서연 S12
이서연

Freddy 도 넷에 하나씩 부르기 시작하면, 그때 또 바꿔 쓰지 뭐.