앞에서만 읽는 모델: A 가 B 의 아버지라면 B 는 누구의 아들일까

바로잡기: 거꾸로 쓴 문장을 학습 글에 넣기

거꾸로 묻는 물음에 필요한 항이 손실에 들어오게 하려면 학습 글을 바꿔야 하는데, 민준은 이백사십 개를 손으로 쓰는 대신 문장 틀을 몇 개 만들어 스크립트가 채우게 했다. 같은 사실 240 개로 학습 글을 다섯 가지로 만들고, 스텝 수와 배치에서 사실 글이 차지하는 줄 수(32 줄 가운데 8 줄)는 모두 같게 두었다.

조건 학습 글 예
한 방향만 아버지·준 사람이 앞인 문장 하나씩 Fenwick Sallow is the father of Emrys Wexley.
같은 방향으로 바꿔 쓰기 셋 문형 셋, 모두 아버지·준 사람이 앞 Fenwick Sallow has a son named Emrys Wexley.
반쪽만 거꾸로 문장 한 방향 전부 + 반쪽 A(100 쌍, 선물 20 건)만 거꾸로 쓴 문장 Emrys Wexley is the son of Fenwick Sallow.
모두 거꾸로 문장 한 방향 전부 + 전부 거꾸로 쓴 문장 Minjun got a cookie from Seoyeon.
두 방향 모두 바꿔 쓰기 셋 앞으로 문형 셋 + 거꾸로 문형 셋 Minjun was given a cookie by Seoyeon.

서연의 쿠키는 반쪽 B 에 넣어 두었다. 반쪽만 거꾸로 문장을 넣는 조건에서 「Seoyeon gave Minjun a cookie.」는 한 방향으로만 남는다. 거꾸로 묻는 물음은 학습 글에 있던 거꾸로 문형(「Y is the son of」, 「B got a C from」)과, 어느 조건의 학습 글에도 없는 새 문형(「The father of Y is」, 「Who gave B a C? It was」)으로 나눠 물었다. 시드 셋의 평균이다(sources/reversal/run.out 의 요약, 마지막 줄은 run_both_paraphrase.out).

## 요약 (시드 평균 정답률)
  조건            | 아버지→아들 (학습 문형)| 아버지→아들 (새 문형) | 아들→아버지 (거꾸로 문형| 아들→아버지 (새 문형) | 준 사람→받은 사람    | 받은 사람→준 사람 (거꾸| 받은 사람→준 사람 (물음| 바이트당 비트
  forward       |         100.0%|          10.5%|           0.5%|           0.3%|         100.0%|           2.5%|           2.5%| 0.4305
  paraphrase    |         100.0%|          79.7%|           0.2%|           0.3%|          99.2%|           4.2%|           3.3%| 0.4303
  half_both     |          99.7%|           6.7%|          50.0%|           3.0%|         100.0%|          50.0%|           8.3%| 0.4304
   └ 반쪽 A       |         100.0%|           6.7%|         100.0%|           6.0%|         100.0%|         100.0%|          13.3%
   └ 반쪽 B       |          99.3%|           6.7%|           0.0%|           0.0%|         100.0%|           0.0%|           3.3%
  both          |          99.3%|          10.0%|          99.7%|           8.3%|          98.3%|          99.2%|           5.8%| 0.4303
  both_paraphrase|         100.0%|          83.7%|          99.5%|          49.7%|          94.2%|         100.0%|           7.5%| 0.4304
조건마다 아버지·아들 200 쌍에 대한 네 물음의 정답률(시드 셋 평균). 거꾸로 쓴 문장을 넣으면 그 문형으로 묻는 물음은 고쳐진다. 「반쪽만 거꾸로 문장」의 50 은 거꾸로 문장을 넣은 반쪽 A 의 100% 와 넣지 않은 반쪽 B 의 0.0% 의 평균이다. 점선은 우연히 맞힐 확률 0.5%(sources/reversal/plot_results.py)
조건마다 아버지·아들 200 쌍에 대한 네 물음의 정답률(시드 셋 평균). 거꾸로 쓴 문장을 넣으면 그 문형으로 묻는 물음은 고쳐진다. 「반쪽만 거꾸로 문장」의 50 은 거꾸로 문장을 넣은 반쪽 A 의 100% 와 넣지 않은 반쪽 B 의 0.0% 의 평균이다. 점선은 우연히 맞힐 확률 0.5%(sources/reversal/plot_results.py)

같은 방향으로 바꿔 쓴 문장은 앞으로 묻는 물음을 크게 도왔다. 학습 글에 없던 「The son of X is」로 물어도 10.5% 에서 79.7% 로 올랐다. 하지만 거꾸로 묻는 물음은 0.2% 로, 한 방향만 읽힌 루나(0.5%)처럼 우연 수준에 머물렀다. 베르글룬드 팀이 바꿔 쓴 글을 더해도 나아지지 않았다고 적은 것과 같은 결과이고, 이유도 같다. 문장을 아무리 바꿔 써도 아버지가 늘 앞에 있으면, 아들을 보고 아버지를 맞히는 항은 손실에 여전히 없다.

반쪽만 거꾸로 문장을 넣은 조건이 가장 많은 것을 알려 준다. 거꾸로 문장을 넣은 반쪽 A 는 거꾸로 문형 물음을 100% 맞혔고, 넣지 않은 반쪽 B 는 0.0% 였다. 루나는 「X is the father of Y」와 「Y is the son of X」가 함께 나오는 쌍을 100 개나 읽었지만, 그 규칙을 나머지 100 쌍에 옮겨 쓰지 않았다. 베르글룬드 팀도 두 순서로 모두 적은 사실 묶음을 학습 글에 넣어 「사실은 흔히 두 순서로 나온다」는 패턴을 배우게 하려 했는데, 거꾸로 묻는 물음은 여전히 맞히지 못했다. 서연의 쿠키는 반쪽 B 에 있었다.

  [half_both 시드 0]
    「Minjun got a cookie from」 다음 이름 위 셋: Arlo 0.319, Wynn 0.193, Zara 0.077
    그리디 이어 쓰기 「Minjun got a cookie from」 → ' Arlo. Ulric Ingram'
  [both 시드 0]
    「Minjun got a cookie from」 다음 이름 위 셋: Seoyeon 0.818, Sage 0.024, Vida 0.020
    그리디 이어 쓰기 「Minjun got a cookie from」 → ' Seoyeon. Yara got a shell'
    「Who gave Minjun a cookie? It was」 다음 이름 위 셋: Minjun 0.064, Milo 0.004, Moss 0.003
김민준 M12
김민준

Arlo 래. 반쪽 B 라서 거꾸로 문장이 없으니까, 「got a … from」 다음에 읽어 본 이름을 넣은 거야. 찾아보니 Arlo 는 반쪽 A 에서 Reed 에게 공을 준 사람이야. 「Reed got a ball from Arlo.」를 읽었거든.

이서연 S17
이서연

아무나가 아니라 Arlo. 모르는 사람한테 받았대.

김민준 M01
김민준

모두 거꾸로 넣으니까 Seoyeon 0.818 이야. 됐다! …근데 「Who gave Minjun a cookie? It was」 하고 물으면 Minjun 이래. 자기가 자기한테 줬대.

모두 거꾸로 문장을 넣으면 거꾸로 문형의 물음은 99.7% 로 고쳐진다. 그런데 같은 사실을 학습 글에 없던 문형(「The father of Y is」)으로 물으면 8.3% 였고, 선물을 「Who gave …?」로 물으면 5.8% 였다. 거꾸로 쓴 사실도 그 문장 모양에 묶여 있다. 앞으로 묻는 물음에서 바꿔 쓰기가 한 일을 거꾸로 묻는 물음에도 해 주려면, 거꾸로 쓴 문장도 여러 문형으로 바꿔 써야 한다. 앞으로 문형 셋과 거꾸로 문형 셋을 모두 넣은 조건에서 학습 글에 없던 「The father of Y is」는 49.7% 로 올랐다. 그래도 「Who gave Minjun a cookie? It was」로 묻는 물음은 7.5% 에 머물렀다. 「Who … ? It was」처럼 묻고 답하는 형식은 어느 학습 글에도 없었다. 그렇다면 묻고 답하는 형식을 이미 배운 루나는 어떨까?

김민준 M02
김민준

문장 틀을 만들려면 관계마다 반대말을 알아야 하잖아요. father 와 son, gave 와 got … from 처럼요. 웹 글은 관계가 너무 많은데, 글 전체를 뒤집어서 같이 읽히면 안 돼요?

선생님 T01
선생님

메타의 올가 골로브네바(Olga Golovneva) 팀이 2024년에 낸 방법이에요. 이름은 그대로 두고 낱말 순서만 뒤집은 사본을 함께 읽혀요. 70억 파라미터 모델에서 지어낸 유명인의 설명을 주고 이름을 묻는 쪽이 0.0 에서 89.7 이 됐고, 이름을 주고 설명을 묻는 쪽은 6.0 이었어요. 그 결과는 큰 모델을 오래 학습해서 나온 것이라, 오늘은 거꾸로 문장을 직접 넣어요.

다섯 조건 모두 타이니스토리즈 검증 글의 바이트당 비트는 0.4303~0.4305 로, 학습 전(0.4259, 둘 다 검증 글 앞 200만 토큰으로 구한 값이고 검증 글 전체로는 0.4253)보다 조금 올랐을 뿐 조건 사이의 차이는 없었다. 사실 글이 배치의 4분의 1 을 차지해도 동화 실력은 거의 그대로다.

대화로 가르친 루나에게 물으면

이 장의 실험은 모두 동화 GPT 에서 출발했다. 사실이 들어오는지만 떼어 보려고, 대화 데이터가 섞이지 않은 쪽에서 측정한 것이다. 서연은 같은 설정을 대화로 가르친 루나(대화에 동화를 4분의 1 섞은 판)에서 한 번 더 돌려 보자고 했다. 두 방향 모두 문형 셋씩 쓴 글을 같은 1,000 스텝 읽히고, 선물 40 건을 세 가지로 물었다. 후보는 준 사람 40 명이라 아무렇게나 골라도 2.5% 다(sources/reversal/chat_probe.out, 시드 셋).

같은 사실 글을 읽힌 뒤 세 가지 형태로 물은 정답률. 파란 막대는 동화 GPT, 주황 막대는 대화로 가르친 루나에서 출발한 것이다. 막대는 시드 셋의 평균, 점은 시드 하나하나, 점선은 우연이다(sources/reversal/plot_reversal_tables.py)
같은 사실 글을 읽힌 뒤 세 가지 형태로 물은 정답률. 파란 막대는 동화 GPT, 주황 막대는 대화로 가르친 루나에서 출발한 것이다. 막대는 시드 셋의 평균, 점은 시드 하나하나, 점선은 우연이다(sources/reversal/plot_reversal_tables.py)
출발점 학습 글의 거꾸로 문형(예: 「Minjun got a cookie from」) 글 형태 물음(예: 「Who gave Minjun a cookie? It was」) 대화 형태 물음(예: 「User: Who gave Minjun a cookie? / Assistant:」)
동화 GPT 100.0, 100.0, 100.0 7.5, 5.0, 7.5 2.5, 5.0, 7.5
대화로 가르친 루나 100.0, 97.5, 97.5 5.0, 5.0, 10.0 2.5, 2.5, 2.5
  대화로 가르친 루나(시드 0), 학습 뒤
  「User: Who gave Minjun a cookie? / Assistant:」 → ' I do not know. I have not seen a cookie. I have not seen'
김민준 M04
김민준

대화는 할 줄 알면서 모른대. 「Minjun got a cookie from」 하면 Seoyeon 이 100% 나오는데.

선생님 T01
선생님

사실은 문장으로 읽었고, 대화는 다른 데서 배웠어요. 따로 배운 사실과 대화 형식을 루나는 스스로 잇지 못해요. 사실을 대화로 꺼내 쓰게 하려면 대화 안에 그 사실이 답으로 들어 있어야 해요. 대화로 가르칠 때 답 칸만 채점하던 이유와 같은 이야기예요.

문제 5. 백 쌍을 거꾸로 읽고도 나머지 백 쌍을 못 뒤집는 이유

반쪽만 거꾸로 문장을 넣은 조건에서 루나는 「X is the father of Y」와 「Y is the son of X」가 함께 나오는 쌍을 100 개 읽었다. 그런데도 거꾸로 문장이 없는 반쪽 B 의 거꾸로 물음은 0.0% 였는데, 이유는 무엇일까? (가) 사람이라면 100 쌍을 보고 무엇을 알아챌까? (나) 루나가 반쪽 B 의 「Y is the son of」 다음에 정답 아버지를 쓰려면 파라미터 안에 무엇이 있어야 하는가? (다) 그것은 학습 중 어느 손실 항이 만들었어야 하는가?

이서연 S01
이서연

(가)는 「father of 가 있으면 son of 도 있다」는 규칙이지. 100 번 봤으니까 나머지 100 쌍에도 쓸 수 있다고 생각할 거야.

김민준 M01
김민준

그런데 규칙을 안다고 반쪽 B 를 맞힐 수 있나? 「Y is the son of」 다음에 누구를 쓸지는 규칙만으로 안 나오잖아.

선생님 T01
선생님

좋은 질문이에요. 서연 학생, 규칙을 안 다음에 반쪽 B 의 아들 하나를 받으면 무엇을 해야 하죠?

이서연 S08
이서연

그 아들이 나온 문장을 찾아서 앞에 있는 아버지를 꺼내야 해요. 아, 그게 바로 루나가 못 하는 거네요. 규칙을 알아도, Y 에서 X 로 가는 길이 파라미터에 없으면 꺼낼 데가 없어요.

김민준 M07
김민준

그럼 (나)는 「Y 다음에 X」라는 이어짐이 파라미터에 있어야 하고, (다)는 Y 가 앞에 있는 문장에서 X 를 맞히는 항이어야 해. 반쪽 B 에는 그런 문장이 없었으니 그 항도 없었고.

선생님 T01
선생님

그래요. 사람은 처음부터 다시 읽어 보거나 머릿속에서 문장을 뒤집어 볼 수 있지만, 루나는 한 번 앞으로 계산하는 동안 파라미터에 있는 이어짐만 쓸 수 있어요. 반쪽 A 의 100 쌍은 반쪽 A 의 이어짐을 만들었을 뿐이에요.