다음 루나를 위하여: 원하는 모델을 빚는 순서와 AI 의 앞날

원하는 것을 시험지로 적다

「다섯 살처럼 말하고, 가족을 사랑하고, 모르면 모른다고 한다」는 바람이지 점수가 아니다. 루나를 키운 첫 단계는 매번 바람을 칸으로 옮기는 일이었다. 옮기는 데는 세 단계가 있었다.

단계 하는 일 루나에서
바람 설정서에 한 줄로 적는다 「가족을 사랑한다」
칸 정답을 프로그램이나 사람이 들고 있는 문항으로 옮긴다. 읽지 않고도 맞히는 지름길을 막는다 엄마가 말없이 나갔는지만 다른 장면 쌍. 늘 「걱정돼」라고만 하면 쌍 점수 0
판정 시드 셋의 범위로 가른다. 범위가 겹치면 이겼다고 하지 않는다 쌍 점수 시드 셋이 모두 1.00

칸을 믿으려면 그 칸에서 나올 수 있는 가장 낮은 점수와 가장 높은 점수부터 측정했다. 문맥을 읽지 않는 규칙과 바이그램 모델은 다섯 칸 모두 0 근처나 그 아래였고, 시험 문항을 외우게 한 복제본은 0.959~1.000 이었다(sources/report-card/). 동네 시험지에서는 정답을 동네 그래프가 계산했고, 시험 장면은 해시로 갈라 학습 글에 넣지 않았다.

장하은 H01
장하은

시험지를 만들 때마다 굿하트가 생각났어요. 점수가 목표가 되면 점수는 더 이상 좋은 잣대가 아니라는 말이요. 쌍으로 묻는 건 그 말을 피하려고 만든 장치였어요.

이서연 S01
이서연

수학으로 쓰면, 원하는 것을 정답을 계산하는 함수로 적을 수 있어야 측정할 수 있어. 「걱정할 줄 안다」는 함수가 아니지만, 「장면의 상태 → 마음」 표는 함수야.