12. 다차원 보상 — 스칼라를 넘어서

가중합: 벡터 보상을 숫자 하나로

프론티어 위에서 고르는 일은 사람에게는 자연스럽다. 하지만 정책 그래디언트에는 숫자 하나가 필요하다. 벡터 보상을 어떻게 숫자 하나로 줄이고, 줄이면 무엇을 잃을까?

세 가지 가중 방식

가장 흔한 방법은 차원별 보상에 가중치를 곱해 더하는 가중합이다.

가중합은 직선을 밀어 고른다

가중합이 무엇을 고르는지 그림으로 보자. 가중치를 정하면 점수가 같은 점들은 한 직선(등고선) 위에 놓인다. 점수를 올린다는 것은 이 직선을 오른쪽 위로 평행하게 밀어 가는 일이고, 가중합이 고르는 응답은 직선이 마지막으로 스치는 점이다. 가중치를 바꾸면 직선의 기울기가 바뀌고, 마지막에 스치는 점도 바뀐다.

정확성과 간결성을 반반으로 치면($\textcolor{#0033ff}{w} = 0.5$) 등고선은 기울기가 −1인 직선이다. 점수 0.45, 0.56인 직선을 지나 계속 밀면, 마지막으로 스치는 응답은 0.675인 B다. 이 그림의 다섯 점은 위젯의 응답 가운데 파레토 최적인 것들이다.

아래 위젯에서 정확성 가중치 $\textcolor{#0033ff}{w}$ 를 돌려 보라. 점선이 등고선이고, 크게 그려진 점이 가중합이 고른 응답이다.

그렇다면 프론티어 위의 점은 모두 어떤 가중치에서든 한 번은 마지막으로 스치는 점이 될까? 아래 문제 5에서 따져 본다.

문제 3 — 연비를 더 쳐주면 경차인가

(가)는 계산할 것도 없어요. 연비 비중이 0.7이니까 연비 1등인 경차죠.

그래도 해 보자. 경차 $0.3 \times 2 + 0.7 \times 9 = 6.9$, 하이브리드 $0.3 \times 5 + 0.7 \times 8 = 7.1$, 세단 $2.4 + 4.2 = 6.6$, 스포츠카 $3 + 1.4 = 4.4$.

하이브리드가 이기네요. 경차가 연비는 1점 높은데…

그 대신 경차는 성능에서 몇 점 낮고, 거기 붙은 비중은 얼마였죠?

3점 낮고 비중은 0.3이요. 성능에서 0.9점을 잃고 연비에서 0.7점을 버니까 하이브리드가 이기는 거네요. (나) $\textcolor{#0033ff}{w} = 0.5$ 면 두 점수의 평균이라 세단이 7.0으로 1등이고요.

비중이 큰 축의 1등이 뽑히는 게 아니라, 축마다 차이에 비중을 곱한 값을 더해서 겨루는 거구나.

정리 (가) 하이브리드 7.1 (경차 6.9, 세단 6.6, 스포츠카 4.4). (나) 세단 7.0. 가중합에서는 비중이 큰 축의 1등이 아니라, 축마다 「차이 × 비중」을 더한 값이 큰 쪽이 이긴다.

문제 4 — 가중치를 돌리면

$\textcolor{#0033ff}{w} = 0.3$ 이면 간결성을 더 쳐주니까 D: $0.3 \times 0.45 + 0.7 \times 0.85 = 0.73$, F: $0.06 + 0.665 = 0.725$, C: $0.186 + 0.448 = 0.634$. D가 이겨. 아까 차 문제처럼 간결성 1등인 F가 아니네.

그럼 $\textcolor{#0033ff}{w} = 0.7$ 은 대칭이니까 B겠네. D의 거울상.

직접 해 봐. 대칭이 아닐 수도 있잖아.

A: $0.665 + 0.06 = 0.725$, B: $0.595 + 0.15 = 0.745$.

어, 진짜 B네. 근데 A가 생각보다 가깝다.

결과는 맞았어요. 그런데 "대칭이니까"라는 이유는 맞았을까요?

점들이 대각선에 대칭으로 놓인 게 아니니까 우연히 맞은 거네요. $\textcolor{#0033ff}{w} = 0.8$ 이면 A가 이기고요.

시험에서 답은 맞았는데 풀이가 틀려서 부분점수 깎인 느낌이에요.

정리 $\textcolor{#0033ff}{w} = 0.3$ → D, $\textcolor{#0033ff}{w} = 0.7$ → B (A와 근소한 차이). 점들이 대칭으로 놓이지 않았으므로 "대칭이라서"는 올바른 논증이 아니다 — 계산해야 한다.

문제 5 — 가중합이 닿지 못하는 점

파레토 최적이면 어떤 가중치에서는 뽑히겠죠. $\textcolor{#0033ff}{w}$ 를 0부터 1까지 천 개로 쪼개서 돌려볼게요.

…F, D, B, A만 나오고 C는 한 번도 안 나와요. 버그인가?

버그 아냐. B(0.85, 0.5)랑 D(0.45, 0.85)를 이은 선분을 봐. $x = 0.62$ 에서 그 선분의 높이는 $0.5 + 0.35 \times \frac{0.85-0.62}{0.4} = 0.70$ 인데, C는 0.64로 그 아래에 있어.

그 선분의 높이가 C의 점수와 무슨 상관이죠?

가중합은 선형 함수니까, 선분 위의 점의 값은 양 끝 값의 가중평균이에요. 그러니 어떤 $\textcolor{#0033ff}{w}$ 에서든 B나 D 중 하나는 선분 위의 (0.62, 0.70)보다 크거나 같고, 그 점은 C보다 위에 있으니 C보다 커요. C는 B와 D의 볼록 껍질 안쪽에 있어서, 선형 함수로는 절대 최대가 될 수 없어요.

그래요. 점들을 고무줄로 둘러쌌을 때 고무줄이 닿는 바깥 테두리를 볼록 껍질이라고 해요. 가중합은 프론티어 가운데 볼록 껍질에 걸린 점만 볼 수 있어요. 오목하게 들어간 곳의 타협안은 어떤 가중치로도 선택되지 않아요.

선형계획법에서 최적해가 항상 꼭짓점에 있는 거랑 같은 이야기네요.

잠깐, 아까 L도 A와 B를 이은 선 아래였잖아요. 그때는 선 아래여도 지배당하지 않는다고 했는데, 가중합으로는 L도 안 뽑히겠네요.

응. L은 파레토 최적이지만 볼록 껍질 안쪽이야. "지배당하지 않는다"와 "어떤 가중치에서 뽑힌다"는 다른 말이었어.

정리 존재하지 않는다. B와 D를 이은 선분의 $x = 0.62$ 높이는 $0.70 > 0.64$ 이므로 C는 볼록 껍질 안쪽이다. 선형 함수의 최대는 볼록 껍질 위에서만 달성되므로, 파레토 최적이어도 가중합으로 뽑히지 않는 점이 있다. 문제 2의 L도 A와 B를 이은 선분 아래라 같은 처지다.