앞에서만 읽는 모델: A 가 B 의 아버지라면 B 는 누구의 아들일까

혼동하기 쉬운 점과 요약

토론 1. 모델을 크게 키우면 역전 저주가 사라질까

우리 루나는 파라미터 2,760만 개이고 사실은 240 개뿐이었다. 웹 글을 많이 읽은 큰 모델이라면 「father of」와 「son of」가 함께 나오는 글을 수없이 읽었을 테니, 한 방향으로만 읽은 사실도 거꾸로 꺼낼 수 있지 않을까?

김민준 M01
김민준

반쪽 실험에서 루나는 100 쌍으로 규칙을 못 배웠잖아요. 큰 모델은 몇 억 쌍을 봤을 테니 다르지 않을까요?

선생님 T01
선생님

큰 모델의 숫자가 이미 있어요. 역사 그림의 맨 위 줄인 GPT-3 175B 는 지어낸 사실을 거꾸로 물으면 0.1% 예요. GPT-4 도 『오만과 편견』의 앞 문장은 0.8% 고요. 베르글룬드 팀은 모델 크기와 계열을 바꿔도 같았다고 했어요.

김민준 M06
김민준

그럼 GPT-4 가 부모에게서 자식을 묻는 물음에서 맞힌 33% 는 뭐예요? 0 은 아니잖아요.

선생님 T14
선생님

실제 유명인은 웹 글 어딘가에 「메리 리 파이퍼의 아들 톰 크루즈」처럼 거꾸로 쓴 문장도 있을 수 있어요. 베르글룬드 팀도 이 실험은 학습 글을 모르니 결론이 잠정적이라고 적었어요. 거꾸로 꺼낼 수 있는 만큼은 그 순서로 적힌 글이 있었던 만큼이라고 보면 우리가 본 원리와 맞아요. 그래서 고치는 방법도 모델 구조보다 학습 글을 바꾸는 데서 나왔어요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
다음 줄을 아는 것과 앞 줄을 아는 것은 같은 지식이라고 봄 1 정보는 같아도 꺼내는 방향이 다르다. GPT-4 는 『오만과 편견』의 다음 문장 65.9%, 앞 문장 0.8% 였다
정답 몇 개를 맞혔으면 조금은 안다고 봄 2 200 쌍에서 1.0% 는 우연과 구별되지 않는다. 정답의 평균 순위 107.9 / 200 은 아무렇게나 고른 100.5 보다도 뒤였다
문장을 읽으면 그 문장의 모든 이어짐을 배운다고 봄 3 손실의 항은 늘 앞 글을 조건으로 뒤 토큰을 맞힌다. 「Seoyeon gave Minjun」에서 Minjun 을 보고 Seoyeon 을 맞히는 항은 없다
학습 때 마스크를 벗기면 두 방향을 다 배운다고 봄 4 마스크를 벗기면 다음 토큰을 옆에서 베끼게 되고, 글을 쓸 때는 베낄 데가 없다
바꿔 쓴 문장을 많이 넣으면 거꾸로 물음도 나아진다고 봄 본문 같은 방향 문형 셋은 새 문형의 앞으로 묻기를 10.5% → 79.7% 로 올렸지만 거꾸로 묻기는 0.2% 그대로였다
두 방향으로 적힌 쌍을 많이 보면 규칙을 배워 나머지도 뒤집는다고 봄 5 반쪽 A 100 쌍은 100%, 거꾸로 문장이 없는 반쪽 B 는 0.0% 였다
거꾸로 문장을 넣으면 어떤 말로 물어도 거꾸로 답한다고 봄 본문 거꾸로 문형은 99.7% 지만 학습 글에 없던 문형 「The father of Y is」는 8.3% 였다. 거꾸로 문장도 바꿔 써야 49.7% 가 된다
대화를 배운 루나는 글로 읽은 사실도 물으면 답한다고 봄 본문 대화로 가르친 루나도 대화 형태로 물으면 시드 셋 모두 2.5%(우연)였다. 사실이 대화의 답으로 들어 있어야 한다
모델을 키우면 역전 저주가 사라진다고 봄 토론 1 GPT-3 175B 도 지어낸 사실을 거꾸로 물으면 0.1% 였다. 거꾸로 꺼낼 수 있는 것은 그 순서의 글을 읽은 만큼이다

요약

「A 는 B 다」 순서로만 학습한 사실을 「B 는 A 다」 순서로 물으면 맞히지 못하는 일을 역전 저주라 한다. 베르글룬드 팀(2023)은 GPT-3 를 지어낸 사실로 파인튜닝해 같은 방향 96.7%, 거꾸로 0.1% 를 보고했고, 알렌주와 리(2023)는 지어낸 전기로 처음부터 학습한 모델에서 사실로 사람을 찾는 물음이 사실상 0% 임을 보였다. 우리 동화 GPT 도 아버지·아들 200 쌍과 선물 40 건을 한 방향으로만 읽히자 학습한 순서의 물음은 100% 를 맞히고 거꾸로 묻는 물음은 우연 수준(0.5%)이었다.

다음 토큰을 맞히는 손실은 늘 앞 글을 조건으로 뒤 토큰의 확률을 키우고, 마스크 때문에 앞 토큰 자리에서는 뒤를 볼 수 없다. 그래서 「Seoyeon gave Minjun」을 아무리 읽어도 Minjun 을 보고 Seoyeon 을 떠올리는 항은 손실에 나타나지 않는다. 같은 방향으로 바꿔 쓴 글은 거꾸로 묻는 물음을 돕지 못했고, 일부 쌍만 거꾸로 적어 주면 그 쌍만 고쳐졌다(반쪽 A 100%, 반쪽 B 0.0%). 거꾸로 쓴 문장을 모든 사실에 넣으면 그 문형의 물음이 99.7% 로 고쳐졌다. 거꾸로 쓴 문장도 문형을 셋으로 바꿔 쓰자 학습 글에 없던 거꾸로 문형이 49.7% 가 되었지만, 「Who …?」로 묻는 물음은 여전히 7.5% 였다. 대화로 가르친 루나에게 같은 글을 읽혀도 대화 형태 물음은 2.5% 로, 문장으로 읽은 사실과 대화로 배운 형식은 저절로 이어지지 않았다.

러셀이 『수학의 원리』(1903)에서 적었듯 관계에는 방향이 있다. 관계를 순서쌍의 0/1 표로 적으면 역관계는 그 표의 전치이므로 표 하나에 두 방향이 다 들어 있지만, 다음 토큰 학습은 앞 이름을 넣어야 뒤 이름이 나오는, 행으로만 조회하는 표처럼 사실을 저장한다. 행으로만 찾는 표에 이 장의 사실을 적으면 아들→아버지 정답률이 한 방향만 0.0%, 반쪽만 거꾸로 50.0%, 모두 거꾸로 100.0% 로 루나의 0.5%, 50.0%, 99.7% 와 거의 일치했다. 지식 그래프와 검색 엔진의 역색인은 반대 방향의 표를 미리 만들어 두는 설계이고, 버트(BERT)는 앞뒤 글을 모두 읽고 빈칸을 맞히도록 학습 방식을 바꾼 모델이다.

루나 설정서 점검

설정서의 줄 이번에 남은 것
4. 묻는 말에 대답한다 학습 글에 두 방향, 여러 문형으로 적힌 사실은 거꾸로 물어도 답한다 「Who gave …?」로 물으면 대화로 가르친 루나도 모른다고 한다. 사실을 대화의 답으로도 넣어야 한다

서연은 공책의 작은 점 옆에 아무것도 덧붙이지 않았다.

막힌 곳

지금까지 가르친 것은 물음 하나에 적어 준 사실 하나를 꺼내는 일이어서, 거북이도 쿠키도 문장 하나만 찾으면 답이 나왔다. 사실 둘을 이어야 답이 나오는 물음은 측정하지 않았다.