16. Bradley-Terry 모델: 시그모이드는 왜 거기 있는가?
순환 선호: 점수 하나로는 가위바위보를 담지 못한다
BT는 대상마다 실력 점수
역사: 결혼 상대 셋을 둘씩 보여 준 실험
셋을 둘씩 붙이면 돌고 도는 결과가 나올 수 있다는 것은 투표에서 먼저 알려졌다. 유권자 한 사람 한 사람은 후보를 한 줄로 세우는데도, 다수결로 둘씩 붙이면 집단의 선택이 돌 수 있다. 그렇다면 한 사람의 머릿속에서도 선호가 돌고 도는 일이 생길까? 1954년 미국의 케네스 메이(Kenneth May)는 경제학 학술지 Econometrica 에 실은 글에서 이것을 작은 실험으로 확인했다.
그는 대학생 62명에게 가상의 결혼 상대 세 명을 둘씩만 보여 주고 고르게 했다. x는 아주 똑똑하고 외모는 수수하며 형편이 넉넉했고, y는 똑똑하고 아주 잘생겼지만 가난했으며, z는 그럭저럭 똑똑하고 잘생겼으며 부자였다. 셋 모두 결혼 상대로 받아들일 만하다고 설명했고, 셋을 한꺼번에 보여 주지는 않았다. 일부 비교는 되풀이해 변덕으로 고른 것인지도 확인했는데, 학생들의 고르기는 거의 흔들리지 않았다. 결과는 62명 가운데 17명이 x > y, y > z, z > x 로 도는 선택이었다. 메이는 이것이 세 기준 가운데 두 기준에서 앞서는 상대를 고른 결과로 쉽게 설명된다고 적었다. 반 전체를 다수결로 모아도 x가 y를 39 대 23, y가 z를 57 대 5, z가 x를 33 대 29로 이겨 돌았다.
1차원의 한계
BT가 각 대상에 스칼라 하나를 주는 순간 전이성이 강제된다. 숫자는 한 줄로 세울 수 있으므로,
그런데 LLM 응답의 선호는 여러 차원(정확성, 간결성, 친절함…)이 섞여 있다. 차원마다 이기는 응답이 다르면 메이의 결혼 상대나 가위바위보처럼 상성이 생길 수 있다.
오른쪽처럼 선호가 순환하면 BT는 어떤 점수로도 맞출 수 없는데, 그럼 BT는 이 데이터에서 무엇을 배울까? 아래 두 문제에서 직접 셈해 본다.
ML에서: 여러 기준이 섞인 선호
응답을 비교하는 사람은 정확성, 간결성, 친절함을 한꺼번에 저울질하므로, 기준마다 이기는 응답이 다른 쌍이 많을수록 선호는 한 줄에서 멀어진다. 사람 대신 LLM 심사 모델(응답을 채점하는 다른 LLM)에게 맡겨도 마찬가지다. 2025년 쉬(Yi Xu)와 동료들은 AlpacaEval(모델마다 기준 모델 하나와 답을 비교시켜 이긴 비율로 순위를 매기는 평가)에서 심사 모델의 선호가 물고 물리는 것을 보였다. 그래서 기준 모델을 무엇으로 두느냐에 따라 두 모델의 순위가 뒤바뀌었다. 그들은 모든 모델을 서로 붙인 뒤 BT로 점수를 맞추는 방식이 사람 투표로 만든 순위와 더 잘 맞는다고 보고했다. 점수 하나로 줄을 세우면 순위는 안정되지만, 물고 물리는 구조는 그 점수 속에 접혀 들어간다. 이 구조를 살리려면 보상을 기준별로 따로 매겨야 한다.
문제 2: 식당 셋, 기준 셋
세 식당 X, Y, Z를 맛·가격·거리로 줄 세우면 X는 1·2·3위, Y는 2·3·1위, Z는 3·1·2위다. 어떤 사람은 두 식당을 견줄 때 세 기준 가운데 두 기준 이상에서 앞서는 곳을 고른다. (가) X와 Y, Y와 Z, Z와 X를 붙이면 각각 어디를 고르는가? (나) 기준마다 1위 3점, 2위 2점, 3위 1점을 주고 더해 식당마다 점수 하나를 매기면 얼마인가? 이 점수로 이 사람의 고르기를 설명할 수 있는가? (다) 맛 점수만 두 배로 쳐서 더하면 어떻게 되는가?
정리 (가) X, Y, Z. X > Y > Z > X 로 돈다. (나) 셋 다 6점이라 점수 하나로는 설명할 수 없다. 동점이면 반반이어야 하는데 이 사람은 매번 확실히 고른다. (다) 9, 8, 7 로 X > Y > Z. 한 기준이 무거우면 줄이 선다.
문제 3: 가위바위보를 한 줄로
세 응답의 선호가 A > B, B > C, C > A 로 각각 70%씩 관측되었다(각 쌍 100번씩 비교). BT로 가장 잘 맞추면 세 쌍의 예측 승률은 얼마가 되는가?
정리 세 점수 차의 합은 항상
이라 셋을 동시에 양수로 만들 수 없다. 볼록·대칭인 손실의 최소점은 , 예측은 모두 50%. BT는 순환 선호를 노이즈로 취급한다.