밀도 반전: 에너지가 높은 칸이 더 붐빈다
음의 온도는 처음 들으면 말장난처럼 들린다. 음의 온도 상태에서 입자들은 두 칸에 실제로 어떻게 나뉘어 있을까? 그리고 그런 상태를 정말 만들고 측정할 수 있을까?
역사: 퍼셀과 파운드의 스핀 뒤집기
1951년 퍼셀과 파운드는 원자핵의 스핀을 이용해 음의 온도 상태를 실제로 만들었다. 그들은 원자핵 스핀이 자기장 쪽으로 정렬된 상태에서 자기장의 방향을 순식간에 반대로 돌려, 다수가 에너지가 높은 방향에 놓이게 만들었다.
실제 결정 속 원자핵 스핀은 원자들이 규칙적으로 늘어선 뼈대(격자)의 진동과도 에너지를 주고받는데, 격자 진동에는 에너지 상한이 없으므로 결국에는 양의 온도로 돌아간다. 다만 퍼셀과 파운드가 쓴 플루오린화리튬(LiF) 결정에서 스핀끼리는 10만분의 1초 안팎에 서로 평형을 이루었지만, 격자와 평형을 이루는 데는 몇 분이 걸렸다. 그 몇 분 동안 스핀 무리는 자기들끼리는 평형인 음의 온도 상태로 있었고, 에너지를 격자에 조금씩 내주며 식었다. 이때 온도는 절대영도를 지나는 것이 아니라 β = 0, 곧 무한대 온도를 지나 양의 온도로 돌아왔다. β로 줄을 세우면 −∞ 쪽에서 0을 지나 +∞ 쪽으로 옮겨 간 셈이다.
1956년 램지는 퍼셀과 파운드의 실험을 바탕으로, 음의 온도에서도 열역학 법칙들을 그대로 쓸 수 있도록 이론을 정리했다. 그러나 음의 온도는 엔트로피를 어떻게 정의하느냐에 달려 있어서 논쟁이 끝난 것은 아니었다. 이 장처럼 「에너지가 정확히 E인 배치의 수」를 세면 언덕이 생겨 음의 온도가 나오지만, 「에너지가 E 이하인 배치의 수」를 세면 그 수는 에너지와 함께 늘기만 하므로 온도가 늘 양수가 된다. 2014년 후자가 맞다는 주장(Dunkel과 Hilbert)이 나오면서 한동안 논쟁이 이어졌는데, 이 장의 정의를 지지하는 쪽의 주된 근거는 두 계를 맞닿게 했을 때 열이 어느 쪽으로 흐를지를 이 정의의 온도가 바르게 알려 준다는 점이다. 온도가 쓸모 있는 이유로 이 장에서 가장 먼저 꼽은 바로 그 성질이다.
뒤집힌 분포
2준위계의 β 식을 들떠 있는 비율에 대해 풀면 다음을 얻는다.
β가 양수이면 e^(−βε)가 1보다 작아서 위 칸에 있는 입자가 아래 칸보다 적고, 이것이 우리가 보통 보는 모습이다. β = 0이면 비율이 정확히 1 : 1이 되고, β가 음수이면 위 칸이 더 붐빈다. 음의 온도는 「에너지가 높은 상태가 낮은 상태보다 더 많이 차 있는」 뒤집힌 분포이고, 이것을 밀도 반전 (에너지가 높은 칸이 더 붐비는 상태, population inversion)이라 한다. 레이저가 빛을 증폭하는 것도 들떠 있는 원자가 절반을 넘는 이 상태 덕분이다.
가열해서는 도달할 수 없다
퍼셀과 파운드는 왜 굳이 자기장을 뒤집어야 했을까? 양의 온도를 가진 물체를 아무리 뜨겁게 달궈 2준위계에 닿게 해도, 2준위계는 그 물체와 β가 같아질 때까지만 에너지를 받는다. 양의 β는 아무리 작아도 0보다 크므로 들떠 있는 비율은 1/2에 다가갈 뿐 넘지 못한다. 그래서 음의 온도를 만들려면 열을 넣는 대신 상태를 직접 뒤집어야 한다. 퍼셀과 파운드의 자기장 뒤집기가 그 방법이고, 레이저는 셋째 에너지 준위를 거쳐 원자를 위 칸으로 퍼 올리는 방식(펌핑)으로 같은 결과를 만든다.
기체도 음의 온도가 될 수 있을까
보통의 기체는 운동에너지에 상한이 없어서 음의 온도가 될 수 없다. 그런데 2013년 독일 뮌헨의 연구진(Braun 외)은 칼륨 원자를 레이저 빛으로 만든 격자(광격자)에 가두어, 원자가 움직여서 가질 수 있는 에너지에도 상한이 생기게 만들었다. 이 조건에서 원자 기체는 절대영도 「아래」로 수 나노켈빈(10억분의 수 켈빈), 곧 음의 온도에 도달했다. 음의 온도를 가르는 것은 입자의 종류가 아니라 에너지에 천장이 있느냐라는 것을 보여 준 실험이다.
ML에서: 시그모이드의 로짓을 뒤집으면
둘째 식은 ML에서 익숙한 시그모이드 σ(x) = 1/(1 + e^(−x))와 같은 꼴이어서 n/N = σ(−βε)로 쓸 수 있다. 로지스틱 회귀에서 로짓 하나가 「켜질 확률」을 정하듯, 여기서는 −βε가 「들뜸 확률」의 로짓 노릇을 한다. β의 부호를 뒤집는 것은 이 로짓의 부호를 뒤집는 것과 같아서, 음의 온도는 에너지가 높은 쪽을 선호하도록 판정이 거꾸로 선 상태다. softmax의 온도를 음수로 두면 로짓이 가장 작은 후보가 가장 자주 뽑히는 것도 같은 현상이다.
문제 9. 볼츠만 머신의 유닛은 언제 켜지나
볼츠만 머신의 유닛 하나는 꺼짐과 켜짐 두 상태만 가지고, 켜려면 에너지 ε = 2가 든다. kT = 0.5, 1, 무한대, −1에서 유닛이 켜져 있을 확률을 구하라. 로지스틱 회귀처럼 σ(로짓)으로 쓰면 로짓은 각각 얼마인가?
온도가 높을수록 에너지가 넘치니까 잘 켜지겠죠. kT = 1이면 켜질 확률이 꽤 크고, 무한대면 거의 1이요.
민준아, 이거 2준위계에서 들떠 있는 비율 구한 식이랑 똑같잖아. 유닛 하나가 입자 하나고, 켜짐이 들뜬 상태야. 켜질 확률은 1/(1 + e^(ε/kT))이니까 kT = 1이면 1/(1 + e²) ≈ 0.12, kT = 0.5면 1/(1 + e⁴) ≈ 0.018이야.
맞아요. 로짓은 −ε/kT라서 −4, −2가 되고요. 민준 학생, kT가 무한대면요?
로짓이 0이니까 σ(0) = 1/2… 거의 1이 아니라 반반이네요. kT = −1이면 로짓이 +2라서 약 0.88이고, 켜진 쪽이 더 많아요.
온도가 무한대면 에너지 차이 ε가 아무 차이도 만들지 못해서, 유닛은 공정한 동전처럼 켜졌다 꺼졌다 해요. 반을 넘어 켜진 쪽이 더 붐비려면 음의 온도, 곧 로짓의 부호를 뒤집어야 하고요.
뜨겁다는 게 「다 켜진다」가 아니라 「에너지 차이를 따지지 않는다」는 뜻이었네요. LLM에서 temperature를 올리면 답이 고르게 퍼지는 것도 그래서고요.