자주 하는 실수와 요약
자주 하는 실수
| 실수 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 무리마다 배치 수 W(n)을 빼고 볼츠만 인자만으로 확률을 냄 | 1 | 위를 향한 스핀이 n개인 무리는 배치 하나가 아니라 이항계수만큼의 배치를 묶은 것이다. 결합을 0으로 두어 동전 셈과 맞는지 검산한다 |
| 0 근처에서 전개한 어림을 봉우리가 멀리 있는 곳까지 씀 | 2 | m⁴까지 남긴 어림은 βJ가 1에 가까울 때만 맞는다. 답이 −1과 1 사이를 벗어나면 어림부터 의심한다 |
| 두 라벨의 평균만 보고 동시 확률을 곱으로 계산 | 3, 4 | 짝의 평균까지 지키면 지수에 sᵢsⱼ 항이 들어오고, Z는 곱으로 쪼개지지 않는다 |
| 이웃끼리 같은 방향을 좋아하면 어느 차원에서나 스핀이 많을 때 갈라진다고 봄 | 5 | 한 줄로 이은 스핀은 경계 하나의 비용이 고정되어 모든 양의 온도에서 위아래가 고르게 섞인다(자화 0). 경계 비용이 구역과 함께 자라야 한다 |
| 열용량에 봉우리가 있으면 상전이라고 봄 | 6 | 입자 하나당 응답이 N과 함께 자라는지 본다. 독립 입자의 쇼트키 봉우리는 N과 상관없다 |
| 한 번 쓰러진 연필을 오래 지켜본 평균을 여러 번 새로 세운 평균과 같다고 봄 | 7 | 한쪽을 고른 계는 그쪽에 머문다. 규칙의 대칭은 여러 번 새로 시작해 모은 평균에서만 보인다 |
| 두 번 르장드르 변환하면 점수가 그대로 돌아온다고 봄 | 8 | 오목하지 않은 구간은 곧은 선, 곧 두 봉우리(+m 무리와 −m 무리)의 혼합으로 메워진다 |
| 한쪽 봉우리에 갇힌 사슬의 표본 평균 ⟨m⟩을 그대로 믿음 | 9 | 두 봉우리에서 값이 같은 양(m²)만 믿을 수 있다. 편향이 걸려 봉우리의 무게가 달라지면 갇힌 사슬은 무거운 쪽을 모른다 |
| 갇힌 사슬이면 모든 평균이 틀린다고 봄 | 9 | m을 −m으로 바꿔도 그대로인 양은 한쪽 봉우리만 봐도 맞다 |
| +1이 겹치는 자리만 세어 가장 가까운 패턴을 고름 | 10 | −1끼리 같은 자리도 같은 것이다. 겹침은 ±1을 자리마다 곱해 더한 내적을 개수로 나눈 값이다 |
| 한꺼번에 갱신해도 에너지가 내려가기만 한다고 봄 | 11 | 에너지 논증은 한 번에 뉴런 하나만 바뀐다고 놓은 것이다. 모두 한꺼번에 바꾸면 두 상태를 끝없이 오갈 수 있다 |
| 어텐션의 1/√d가 바뀌어도 softmax 비중은 그대로라고 봄 | 12 | softmax에 들어가는 값은 내적에 β(어텐션에서는 1/√d)를 곱한 것이다 |
| 한 번 갱신의 오류율로 홉필드 네트워크의 용량을 어림하고, 기억이 무너지는 것을 처음 넣은 잡음 탓으로 봄 | 13 | 틀린 뉴런이 다시 잡음이 된다. 용량 약 0.14N은 집단적인 전환이다 |
| 공통 원인이 있는 사람들의 동시 확률을 평균 비율로 따로 곱함 | 14 | 공통 원인(날)으로 먼저 나누고, 그 안에서 곱한 뒤 섞는다 |
| 볼츠만 머신을 데이터 항(헤브 규칙)만으로 학습 | 15 | 기울기는 데이터 평균 − 모델 평균이다. 모델 항이 있어야 멈춘다 |
| 학습된 결합을 뉴런 사이의 직접 연결로 해석 | 15 | 결합은 짝 평균의 라그랑주 승수다. 숨은 공통 입력도 겉보기 결합(유효 결합)을 만든다 |
요약
모든 쌍이 같은 결합으로 묶인 스핀 N개는 평균 방향 m으로 배치를 묶어 정확히 셀 수 있고, 스핀 하나당 점수는 엔트로피 H((1 + m)/2)와 결합 에너지의 이득 βJm²/2의 합이다. 0 근처에서 엔트로피가 점수를 끌어내리는 곡률은 1, 결합이 끌어올리는 곡률은 βJ이므로 βJ = 1을 넘으면 0이 골짜기가 되고 봉우리가 m = tanh(βJm)을 만족하는 양수와 음수 두 곳으로 갈라진다. 확률은 점수에 N을 곱한 값의 지수라서 스핀이 많을수록 이 전환이 날카로워지며, 조건이 한 값을 지날 때 전형적인 상태가 갑자기 바뀌는 이 현상이 상전이다. 규칙은 모든 스핀을 뒤집어도 같은데 계는 한쪽 봉우리에 머무는 자발적 대칭 깨짐이 따라온다. 임계점에서는 스핀 쌍 하나하나의 공분산이 스핀을 늘려도 충분히 빨리 줄지 않아 N × Var(m)이 N과 함께 자라고, 요동과 응답이 짝을 이루므로 자화율 χ = N·Var(m)/kT도 커진다. 결합을 이웃에만 주면 1차원에서는 상전이가 없고 2차원에서는 kT = 2.269J에서 일어난다. 홉필드 네트워크는 헤브 규칙으로 새긴 결합의 에너지 골짜기에 기억을 담는 온도 0의 이징 모형이며, 패턴 하나일 때는 완전 연결 모형과 같고 패턴 수가 뉴런 수의 약 0.14배를 넘으면 기억이 한꺼번에 사라진다. 볼츠만 머신은 한 뉴런 평균과 짝 평균을 지키는 최대 엔트로피 분포이고 결합과 편향은 그 라그랑주 승수이며, 학습 규칙은 데이터의 평균에서 모델의 평균을 뺀 것이다. 모델 평균을 샘플링으로 구하면 상전이 아래에서는 사슬이 한쪽 봉우리에 갇힌다. 짝 평균만 맞춘 모형도 약한 결합이 모이면 여러 뉴런이 함께 발화하는 집단 반응을 설명할 수 있다.
이징 모형은 ML에서 두 방향으로 쓰인다. 결합을 정해 두고 상태가 에너지의 골짜기로 내려가게 하면 기억 장치가 되고, 데이터의 짝 평균을 지키도록 결합을 학습하면 생성 모델이 된다.
flowchart LR E["이징 모형<br/>E(s) = −Σ Jᵢⱼ sᵢ sⱼ − Σ bᵢ sᵢ"] E -->|"결합을 헤브 규칙으로 정하고<br/>온도 0에서 상태를 움직임"| H["홉필드 네트워크<br/>기억 = 에너지 골짜기"] E -->|"데이터의 짝 평균을 지키도록<br/>결합과 편향을 학습"| B["볼츠만 머신<br/>생성 모델"] H -->|"상태를 연속으로,<br/>에너지에 logsumexp"| A["현대 홉필드<br/>= 어텐션"] B -->|"기록한 신경세포 데이터에 맞춤"| R["신경세포 집단의<br/>짝 모형"]
막힌 곳
이제 스핀들이 두 무리로 갈라지는 이유를 말할 수 있다. 엔트로피와 결합 에너지가 겨루고, 결합과 온도의 비가 1을 넘으면 모으는 쪽이 이겨 대칭인 두 봉우리가 생기며, 홉필드 네트워크의 기억과 그 용량의 한계도 같은 전환이다. 그런데 이 계산이 가능했던 것은 모든 쌍이 같은 결합으로 묶여 있어서 에너지가 m 하나로 정해졌기 때문이다. 결합이 쌍마다 다른 볼츠만 머신이나 이웃끼리만 묶인 2차원 격자에서는 배치를 숫자 하나로 묶을 수 없고, 2^N개를 모두 더하거나 상전이 아래에서 갇혀 버리는 샘플링에 기대야 한다. 학습 규칙이 요구하는 모델의 짝 평균도 같은 벽에 막힌다.
봉우리 조건 m = tanh(βJm)은 「스핀 하나가 나머지 스핀들의 평균 방향에만 반응한다」고 읽을 수 있었고, 모든 쌍이 묶인 계에서는 그 읽기가 정확했다. 같은 읽기를 2차원 격자에 그대로 쓰면, 스핀 하나가 이웃 넷의 평균 방향에 끌린다고 보아 m = tanh(4βJm)이 되고 임계 온도를 kT = 4J로 예측한다. 그러나 온사거의 정확한 답은 2.269J이고, 64 × 64 격자 시뮬레이션에서 kT = 3.0이면 자화는 이미 0.042로 사라져 있다. 스핀들을 서로 독립인 것처럼 다루는 이 읽기는 언제 정확하고, 틀릴 때는 어느 쪽으로 얼마나 틀리는가? 그리고 계산할 수 없는 볼츠만 분포 대신 계산할 수 있는 분포를 골라야 한다면, 그 가운데 가장 나은 것은 무엇을 기준으로 골라야 하는가?