멈추는 법: 모른다고 말하게 가르치면 무엇을 잃을까

부정 하나만 바꾼 변형 이야기

딥시크가 요청 6,000 개를 쓰는 데 16 시간이 걸렸다(gen_deep.log). 민준은 기다리다 지쳐 이미 있는 이야기를 다시 읽었다.

김민준 M07
김민준

이거 그냥 만들 수 있지 않아? yes 로 끝나는 이야기에서 규칙 하나의 조건만 반대로 뒤집으면, 풀이가 그 규칙에서 끊기잖아.

규칙 체인 이야기는 프로그램이 정한 규칙과 사실과 풀이를 딥시크가 글로 감싼 것이므로, 어느 문장이 어느 규칙인지 프로그램이 알고 있다. 서연은 답이 yes·no 이고 홉이 둘 이상인 학습 이야기에서 규칙 하나의 조건 글을 부정으로 변경하고, 풀이를 그 홉 앞에서 잘라 멈추는 이유를 적는 문장과 「we cannot tell」로 끝을 바꿨다(sources/logic-limits/twin_aug.py). 딥시크를 부르지 않으므로 노트북에서 바로 끝난다.

원본(답 no):  … A sign said if the bus turns, then the crayon is weak. It said if the tail is not slow, then the bus turns. It said if the crayon is weak, then the glass is not fast. … Sam thought out loud, "I see the tail is not slow, so the bus turns. Then the crayon is weak. Then the glass is not fast. So the answer to the question is no." Sam says no.
변형(이은 홉 2): … A sign said if the bus turns, then the crayon is weak. It said if the tail is not slow, then the bus turns. It said if the crayon is not weak, then the glass is not fast. … Sam thought out loud, "I see the tail is not slow, so the bus turns. Then the crayon is weak. The rule about this needs the crayon is not weak, but we have the crayon is weak. That rule says nothing about this case." Sam says we cannot tell.

이야기 6,152 편에서 변형 3,896 편이 나왔고, 이은 홉 1·2·3 이 1,900·1,326·670 편이다(sources/logic-limits/twin_aug.out).

딥시크 이야기와 같은 편수의 변형 이야기를 기준 판에 섞어 학습했다.

딥시크 깊은 끊김 이야기(파란 원)와 변형 이야기(주황 네모)를 1,000 편, 3,000 편 섞은 판의 여섯 칸. 「없음」은 두 줄이 함께 쓰는 기준 판(시드 여섯)이다. 큰 표지는 시드 셋의 평균, 옅은 표지는 시드 하나하나다(sources/logic-limits/plot_stop_tables.py)
딥시크 깊은 끊김 이야기(파란 원)와 변형 이야기(주황 네모)를 1,000 편, 3,000 편 섞은 판의 여섯 칸. 「없음」은 두 줄이 함께 쓰는 기준 판(시드 여섯)이다. 큰 표지는 시드 셋의 평균, 옅은 표지는 시드 하나하나다(sources/logic-limits/plot_stop_tables.py)
더 섞은 이야기 깊은 끊김, 두 홉 이상 깊은 끊김, 이은 홉 1 떼어 둔 이야기, 이은 홉 1 yes·no yes·no 에 cannot 전체
없음(기준 판) 19 40 46 84 4 79
딥시크 깊은 끊김 1,000 편 46 43 47 74 12 73
변형 이야기 1,000 편 47 59 55 74 14 74
딥시크 깊은 끊김 3,000 편 69 73 69 79 10 81
변형 이야기 3,000 편 77 82 75 74 16 77

위 표는 딥시크 이야기와 변형 이야기를 나란히 놓은 것이다(logic_stop.out, lab_table.out 의 M15R·G15R·T15R·J15R·Y15R, 시드 셋의 평균, %). 변형 3,000 편 판의 두 홉 이상 칸은 시드별 78·74·78 이다.

변형 이야기 3,000 편 판은 깊은 칸을 77% 까지 올렸고, 시드 셋이 모두 74% 를 넘었다. 풀이의 형태도 바뀌어 「지나침」이 38% 에서 5% 로 줄고 맞은 풀이가 28% 에서 79% 가 되었다(deep_probe_5.out). 기준 판이 지나쳤던 문항을 변형 3,000 편 판(시드 1)은 이렇게 썼다(runs_bridge/story_Y15R_s1_deep.json, cd000030).

루나: Lily said, "I see the plant moves, so the road is not sour. Then the mouse is heavy. But the rule asks for the mouse is not heavy, and we have the mouse is heavy. No rule tells about that case." Lily says we cannot tell.
김민준 M08
김민준

멈췄다! 「the rule asks for the mouse is not heavy」까지 직접 썼어.

변형 3,000 편 가운데 1,686 편은 원본 이야기가 학습 4,300 편 밖에 있어서 원본 없이 변형만 학습에 들어갔다(twin_aug.out). 빠진 원본을 함께 넣고 프로그램 문항의 양을 지킨 판은 깊은 칸 70%, 전체 79% 로, 원본 없이 양만 지킨 판(76%, 78%)보다 오르지 않았다(logic_stop.out).

이 절에서 좋아진 것은 깊은 칸 77% 이고, 그 데이터를 딥시크 없이 만들었다는 것이다.