3장 — 온도

이 장의 물음

LLM에서 답을 뽑을 때 temperature를 올리면 답이 다양해지고, 내리면 늘 같은 답에 가까워진다. 강화학습의 SAC(soft actor-critic)에는 α(알파)라는 계수가, LLM을 사람 선호에 맞추는 RLHF(reinforcement learning from human feedback, 곧 「사람의 피드백으로 하는 강화학습」의 머리글자)에는 β(베타)라는 계수가 있는데, 논문들은 이것들도 온도라고 부른다. 역할도 생김새도 제각각인 계수들에 왜 하나같이 물리의 「온도」라는 이름이 붙었을까? 이 물음에 답하려면 먼저 물리에서 온도가 정확히 무엇인지부터 물어야 한다. 우리는 일상에서 온도를 「뜨겁고 차가운 정도」로 이해하지만, 그것이 무엇을 재는 양인지 말하라고 하면 막막해진다.

이 장은 다음 물음에 차례로 답한다.

• 온도계 없이 온도를 정할 수 있을까?
• 맞닿은 두 물체가 에너지를 주고받다가 멈추는 자리는 무엇이 정할까?
• 열은 왜 뜨거운 쪽에서 차가운 쪽으로만 흐를까?
• 무한히 뜨거운 것보다 더 뜨거운 것이 있을 수 있을까?
• ML의 여러 「온도」는 물리의 온도와 같은 역할을 하고 있을까?

아인슈타인 고체: 에너지 덩어리 나눠 담기

온도가 무엇인지 따지기 전에, 온도가 드러나는 장면부터 보자. 뜨거운 물체와 차가운 물체를 맞닿게 두면 에너지가 한동안 오가다가 어느 순간 멈춘 것처럼 보인다. 이때 실제로 관찰되는 에너지 분배는 무엇이 정할까? 에너지가 물 흐르듯 연속으로 오간다면 나누는 방법이 끝없이 많아서 하나하나 셀 수가 없다. 그래서 에너지가 같은 크기의 덩어리로만 오가는, 나누는 방법을 손으로 셀 수 있는 가장 간단한 모형부터 골라 직접 세어 보자.

역사: 아인슈타인의 고체 모형

고체 속 원자는 제자리에서 끊임없이 흔들린다. 아인슈타인은 1907년 이 흔들림의 에너지가 일정한 크기의 덩어리로만 오간다고 가정하고 고체의 성질을 계산했는데, 이 모형을 아인슈타인 고체 (Einstein solid)라고 부른다.

이 모형은 당시 고체에 걸려 있던 수수께끼를 풀기 위해 나왔다. 1819년 뒬롱과 프티가 찾은 규칙에 따르면, 원자 수가 같은 만큼(원자 1몰, 곧 아보가드로수 6.02 × 10²³개)의 고체를 1도 데우는 데 드는 열은 물질과 상관없이 약 6칼로리였다. 에너지가 연속으로 오간다고 보는 당시 이론도 같은 값을 내놓았고, 그 값은 온도와 상관없이 일정해야 했다. 그런데 다이아몬드는 실온에서 그 4분의 1쯤밖에 되지 않았고, 차갑게 할수록 더 작아졌다. 아인슈타인은 에너지가 덩어리로만 오간다면, 온도가 낮아 덩어리 하나를 채울 만큼의 에너지도 돌아오지 않는 원자는 아예 흔들리지 못하고 그만큼 열을 받아 두지 못한다는 것을 보였다. 아래는 그 논문에 실린 그래프로, 덩어리 가정으로 계산한 곡선이 다이아몬드의 측정값을 따라간다.

모형: 칸에 에너지 덩어리 담기

여기서 말하는 에너지 덩어리는 "같은 크기로 나뉜 에너지 한 몫"이라고만 생각하면 된다. 에너지가 정확히 무엇인지는 여기서 따지지 않는다. 이 장에 필요한 성질은 두 가지뿐이다. 덩어리는 모두 크기가 같아서 어느 것이 어느 것인지 구별하지 않고, 두 물체 사이를 오가도 전체 개수는 늘거나 줄지 않는다. 물리적인 배경은 잠시 접어 두고, 덩어리를 칸에 나눠 담는 방법이 몇 가지인지 세는 문제로만 다뤄 보기로 하자.

칸이 N개 있고, 같은 크기의 에너지 덩어리 q개를 이 칸들에 나눠 담는다고 하자. 한 칸에는 덩어리가 몇 개든 들어갈 수 있다.

가장 작은 경우부터 손으로 세어 보자. 칸 3개에 덩어리 2개를 담는다면, 칸마다 덩어리가 몇 개인지 빠짐없이 적은 목록, 곧 배치는 (2, 0, 0), (0, 2, 0), (0, 0, 2), (1, 1, 0), (1, 0, 1), (0, 1, 1)의 6가지다. 그런데 덩어리가 10개, 100개로 늘면 이렇게 하나하나 늘어놓고 세는 일은 금방 불가능해진다. 빠뜨리지도 겹치지도 않게 세는 요령이 필요하다.

요령은 덩어리를 별로, 칸의 경계를 칸막이로 그려 한 줄로 늘어놓는 것이다. 예를 들어 ★★|★|는 칸 3개에 덩어리를 각각 2개, 1개, 0개 담은 배치 (2, 1, 0)을 나타내고, 배치 하나에 줄 하나가 꼭 하나씩 대응한다. 그러니 담는 방법의 수는 별 q개와 칸막이 N − 1개를 한 줄로 늘어놓는 방법의 수와 같다.

결국 N + q − 1개의 자리 가운데 별이 들어갈 q자리를 고르는 문제이므로 다음을 얻는다. 앞의 손 계산(칸 3개, 덩어리 2개)도 자리 4개 가운데 2자리를 고르는 C(4, 2) = 6과 맞는다.

두 계가 나눠 갖기

이제 칸이 3개씩인 계(system: 따로 떼어 놓고 살피는 대상. 여기서는 칸 3개 한 묶음) A와 계 B가 맞닿아 있어서 덩어리를 주고받을 수 있다고 하자. 두 계가 가진 덩어리의 합은 6개로 고정되어 있으므로, A가 q_A개를 가지면 B는 6 − q_A개를 가지게 된다. 그리고 A가 덩어리를 담는 방법과 B가 담는 방법은 서로 독립이므로, 전체 경우의 수는 두 경우의 수의 곱이다.

표 맨 아래의 합 462는 칸 6개에 덩어리 6개를 담는 방법의 수 W(6, 6)과 같다. 두 계를 하나의 큰 계로 보면 당연한 결과이므로, 계산이 맞았는지 확인하는 데 쓸 수 있다.

표에서 가장 흔한 분배는 3 : 3이다. 그러나 칸이 3개씩밖에 없는 작은 계에서는 그 확률이 21.6%에 그치고, 한쪽이 덩어리를 모두 가져가는 극단적인 경우도 양쪽을 합치면 12%나 된다. "가장 흔하다"와 “거의 언제나 그렇다” 사이에는 아직 거리가 있는 셈이다. 그렇다면 계를 키우면 이 거리는 좁혀질까?