앞에서만 읽는 모델: A 가 B 의 아버지라면 B 는 누구의 아들일까

관계에는 방향이 있다: 행으로만 찾는 표

반쪽 실험의 숫자를 공책에 옮겨 적은 뒤에도 민준은 이 장을 시작할 때의 물음으로 돌아갔다.

김민준 M04
김민준

그래도 이상해요. 저는 「Fenwick 이 Emrys 의 아버지」라는 말을 들으면 「Emrys 는 Fenwick 의 아들」을 따로 배우지 않아도 알아요. 사실은 하나인데 루나는 왜 두 번 배워야 해요?

선생님 T01
선생님

「사실은 하나」라는 말부터 검토해 봐요. 「서연이 민준에게 쿠키를 주었다」와 「민준이 서연에게 쿠키를 주었다」는 같은 두 사람과 같은 관계로 만든 문장인데 서로 다른 사실이에요. 항과 관계가 같아도 순서가 다르면 다른 사실이 된다는 점을 논리학의 기본 요소로 다룬 사람이 영국의 버트런드 러셀(Bertrand Russell)이에요. 러셀은 1903 년에 낸 『수학의 원리』(The Principles of Mathematics)에서 관계에는 한 항에서 다른 항으로 향하는 방향이 있다고 적고, 그 방향을 관계의 센스(sense)라고 불렀어요. 그 전의 논리학은 문장을 주로 「주어는 어떠하다」의 형태로 분석했는데, 러셀은 「A 가 B 보다 크다」 같은 문장이 그 형태로 환원되지 않는다고 주장했어요. 「크다」를 A 한 항의 성질로 적으면 B 가 문장에서 사라지고, 두 항을 묶은 전체의 성질로 적으면 어느 항이 큰지가 사라지니까요.

선생님 T01
선생님

그러면 민준 학생의 물음은 이렇게 바뀌어요. 사람은 아버지 사실을 방향 없이 하나로 저장하고 양쪽에서 꺼낼까요, 방향이 있는 문장 둘을 저장하고 규칙으로 이을까요? 사람의 머릿속이 어느 방식인지는 이 수업에서 측정할 수 없어요. 그래도 두 저장 방식이 어떻게 다른지는 적어 볼 수 있어요.

이서연 S02
이서연

수학에서는 관계를 순서쌍의 집합으로 적어요. 「Tom 은 Ben 의 아버지」는 순서쌍 (Tom, Ben) 이고, 아버지 관계 R 은 그런 순서쌍을 모은 집합이에요. R 의 순서쌍마다 앞뒤를 교환해 모은 집합을 R 의 역관계 (순서쌍의 앞뒤를 모두 교환한 관계 / converse relation)라고 하는데, 아버지 관계의 역관계는 자식 관계예요. 사람 넷으로 축소해서 표로 적어 볼게요.

서연은 Joe, Tom, Ben, Sam 네 사람을 두고, Joe 는 Tom 의 아버지이고 Tom 은 Ben 과 Sam 의 아버지라고 정했다. 행에 앞 이름, 열에 뒤 이름을 두고 순서쌍이 있는 칸에 1 을 적은 다음, 형제 관계 S 도 같은 방법으로 적었다(sources/reversal/relation.py).

아버지 관계 R (행이 아버지, 열이 자식)
        Joe  Tom  Ben  Sam
   Joe    0    1    0    0
   Tom    0    0    1    1
   Ben    0    0    0    0
   Sam    0    0    0    0
…
R 과 R 의 전치가 같은가: False
형제 관계 S
        Joe  Tom  Ben  Sam
   Joe    0    0    0    0
   Tom    0    0    0    0
   Ben    0    0    0    1
   Sam    0    0    1    0
S 와 S 의 전치가 같은가: True
이서연 S01
이서연

행과 열을 교환한 표를 전치라고 하는데, R 의 전치가 역관계의 표야. Tom 의 행을 읽으면 자식 둘이 나오고, Ben 의 열을 읽으면 아버지 Tom 이 나와. 표 하나에 두 방향이 다 들어 있는 거지. 형제처럼 전치해도 같은 표가 되는 관계를 대칭 관계 (순서쌍의 앞뒤를 교환해도 성립하는 관계 / symmetric relation)라고 하고, 아버지 관계는 전치하면 다른 표가 돼.

김민준 M06
김민준

표에 두 방향이 다 있으면 루나도 열로 읽으면 되잖아.

이서연 S06
이서연

루나가 가진 게 이 표라면 그렇지. 그런데 루나가 학습한 건 앞 글을 받아 다음 토큰을 내는 계산이야. 표로 옮기면 문장의 앞 이름과 관계 말을 넣어야 뒤 이름이 나오는 표라서, 행으로만 조회할 수 있어. 그런 표를 만들어서 물어볼게.

행으로만 찾는 표에 적은 문장 4 개: 아버지 문장 3 개, 「Ben is the brother of Sam.」 1 개
  「Tom is the father of」 → Ben, Sam
  「Ben is the son of」 → 없음
  「Ben is the brother of」 → Sam
  「Sam is the brother of」 → 없음
김민준 M08
김민준

「Sam is the brother of」도 없음이야? 형제는 전치해도 같은 표라며.

이서연 S01
이서연

관계는 대칭인데 적은 문장은 한 방향이야. 「Ben is the brother of Sam.」 한 문장만 적었으니까 Sam 의 행은 비어 있어. 대칭은 관계의 성질이고, 어느 방향으로 조회할 수 있는지는 저장한 방식이 결정해. 루나도 형제 문장을 한 방향으로만 읽으면 반대 방향은 답하지 못할 것 같은데, 이 장의 사실 240 개에는 대칭 관계가 없어서 측정하지 못했어. 추측이야.

서연은 같은 표에 이 장의 사실 240 개를 세 조건으로 적고, 아버지·아들 200 쌍을 두 방향으로 물었다. 마지막 두 줄은 순서쌍 200 줄을 한 방향으로만 적어 둔 채, 아들 이름이 나올 때까지 첫 줄부터 읽어 내려간 결과다.

사실 240 개(아버지·아들 200 쌍, 선물 40 건)를 행으로만 찾는 표에 적고 아버지·아들 200 쌍을 묻는다
  조건                적은 문장   아버지→아들   아들→아버지   (반쪽 A / 반쪽 B)
  한 방향만              240      100.0%        0.0%     (0.0% / 0.0%)
  반쪽만 거꾸로 문장         360      100.0%       50.0%     (100.0% / 0.0%)
  모두 거꾸로 문장          480      100.0%      100.0%     (100.0% / 100.0%)

순서쌍 200 줄을 한 방향으로만 적어 두고, 아들 이름이 나올 때까지 첫 줄부터 읽기
  아들→아버지 100.0%, 물음 하나에 읽은 줄 수 평균 100.5 (가장 많을 때 200), 행으로 찾을 때는 1
이서연 S08
이서연

행으로만 찾는 표의 아들→아버지는 조건 순서대로 0.0%, 50.0%, 100.0% 야. 루나가 거꾸로 문형에서 낸 시드 평균은 0.5%, 50.0%, 99.7% 였고, 반쪽 A 100.0% 와 반쪽 B 0.0% 도 일치해. 거꾸로 답하게 하려고 표에 적은 문장은 240 개에서 480 개로 증가했어. 역관계를 전치로 얻지 못하니까 행을 새로 적어서 얻은 거야. 물론 숫자가 일치한다고 루나 안에 이런 표가 있다는 뜻은 아니야. 루나는 같은 방향으로 바꿔 쓴 새 문형에서도 79.7% 를 맞혔는데, 그건 이 표로 설명이 안 돼.

김민준 M02
김민준

맨 아래 줄은 거꾸로 문장 없이도 100.0% 네. 200 줄을 다 읽어 내려가면 되니까. 노래를 처음부터 다시 부른 거랑 같은 방법이고, 물음 하나에 평균 100.5 줄을 읽어야 해.

김민준 M07
김민준

그러니까 사실은 하나여도 그 사실로 들어가는 입구는 방향마다 따로 만들어야 하고, 입구가 없는 방향에서는 처음부터 다 읽어야 하는 거네. 내가 「아들」을 바로 아는 것도 입구가 양쪽에 이미 있어서일 수 있겠다.

선생님 T14
선생님

민준 학생이 말한 입구를 양쪽에 미리 만들어 두는 일이 실제 시스템의 기본 설계예요. 사실을 (주어, 관계, 목적어) 세 항으로 저장하고 어느 항에서든 조회하게 만든 저장소를 지식 그래프 (사실을 세 항의 묶음으로 저장해 양방향으로 조회하는 저장소 / knowledge graph)라고 하고, 구글이 2012 년에 이 이름의 저장소를 검색에 넣었어요. 검색 엔진은 문서마다 낱말을 적은 표를 전치해서, 낱말마다 그 낱말이 나온 문서를 적은 역색인 (낱말에서 문서를 조회하는 표 / inverted index)을 미리 만들어 둬요. 물음을 받을 때마다 문서를 첫 줄부터 읽어 내려가지 않으려는 거예요. 모델을 바꾼 시도도 있어요. 2018 년에 구글의 제이컵 데블린(Jacob Devlin)과 동료 연구자들이 낸 버트(BERT)는 다음 토큰을 맞히는 대신, 문장 가운데의 토큰 몇 개를 빈칸으로 바꾸고 앞뒤 글을 모두 읽어 그 빈칸을 맞히게 학습해요. 정답 토큰이 빈칸으로 바뀌어 있으니 문제 4 처럼 옆에서 베낄 수가 없죠. 그 대신 버트는 글을 앞에서부터 이어 쓰는 일에는 맞지 않아요. 그래서 글을 쓰는 모델은 지금도 루나처럼 앞에서 뒤로 읽고, 모자란 방향은 오늘처럼 학습 글로 보충하거나 바깥 저장소를 조회해서 보충해요. 오늘은 그런 설계가 있다는 것만 알아 둬요.

이서연 S01
이서연

그러면 이렇게 적을게요. 관계의 표에는 두 방향이 다 들어 있지만, 다음 토큰 학습은 그 표를 행으로만 조회하게 저장한다. 반대 방향은 행을 새로 적거나, 전부 읽어 내려가거나, 바깥의 표에 맡긴다. 사람이 어느 방식으로 저장하는지와 루나가 대칭 관계에서 어떻게 답하는지는 측정하지 않았으니 추측으로 남겨 둘게요.

표 이야기가 끝나자 민준은 두 방향 모두 바꿔 쓴 글을 읽은 루나를 불러와, 처음에 부엌 이야기로 이어졌던 「Minjun got a cookie from」을 다시 넣었다(그리디 선택, 시드 0).

한 방향으로만 읽힌 루나 (sources/reversal/run.out)
  「Minjun got a cookie from」 → the kitchen. It was a big cookie with lots of sweet
두 방향, 여러 문형으로 읽힌 루나 (sources/reversal/run_both_paraphrase.out)
  「Minjun got a cookie from」 → Seoyeon. Idris Oake
측정한 것(시드 평균) 한 방향으로만 읽힘 두 방향, 여러 문형으로 읽힘
거꾸로 묻기(아들 → 아버지, 학습 문형) 0.5% 99.5%
받은 사람 → 준 사람 2.5% 100.0%

루나는 사실을 몰랐던 것이 아니었다. 다음 토큰을 맞히는 손실에 「뒤 이름을 보고 앞 이름을 맞히는 항」이 한 번도 들어오지 않았을 뿐이고, 거꾸로 쓴 문장을 학습 글에 넣자 그 항이 생겼다. 그 항은 학습 글에 있던 문형에만 생겨서, 「Who gave Minjun a cookie? It was」로 물으면 같은 루나도 7.5% 다.

김민준 M09
김민준

「Minjun got a cookie from」 다음에 Seoyeon. 이제 루나도 안다. 너한테 받은 거.

이서연 S16
이서연

…거꾸로 쓴 문장을 넣어 줘야 알더라.

김민준 M01
김민준

응. 그러니까 넣었잖아.

서연은 대답하지 않고, 사실 목록 맨 아래에 자기가 보탰던 그 한 줄을 한동안 내려다보았다.