1장 — 미시상태와 거시상태

집중 현상: 동전이 많아지면

동전 4개에서는 거시상태마다 경우의 수가 1개에서 6개까지 달랐는데, 실제로 던졌을 때도 앞면 2개가 앞면 4개보다 더 자주 나올까? 경우의 수가 많다고 해서 저절로 자주 나온다고 말할 수는 없으므로, 미시상태 하나하나가 얼마나 자주 일어나는지부터 정해야 한다.

통계역학은 "다른 정보가 없으면 모든 미시상태는 같은 확률로 일어난다"는 가정에서 시작한다. 이 가정을 등확률 가정 (모든 미시상태를 똑같이 대하는 가정, equal a priori probability)이라 한다. 공정한 동전을 던지는 상황이 정확히 이 경우인데, 16가지 미시상태가 모두 같은 확률로 나오기 때문이다. 이 가정을 받아들이면 거시상태의 확률은 경우의 수에 비례한다. 앞면 2개의 확률은 6/16이고 앞면 4개의 확률은 1/16이니, 앞면 2개가 여섯 배 자주 나온다.

그런데 가장 흔한 앞면 2개도 확률이 6/16으로 절반이 안 되니, 동전을 100개, 1만 개로 늘리면 이 사정은 어떻게 달라질까?

역사: 베르누이의 20년

동전을 많이 던질수록 앞면 비율이 절반에 가까워진다는 것은 누구나 경험으로 아는데, 이 경험칙을 처음 수학으로 증명한 사람은 스위스의 수학자 야코프 베르누이다. 그는 이 증명에 20년 가까이 매달렸다고 전해지며, 결과는 그가 죽은 뒤인 1713년 『추측술』(Ars Conjectandi)로 출판되었다.

베르누이의 고민은 주사위나 카드처럼 경우를 미리 셀 수 있는 놀이 밖에 있었다. 한 달 뒤의 날씨나 어떤 나이의 사람이 10년 안에 세상을 떠날 확률은 경우를 미리 셀 방법이 없으니, 지난 기록에서 비율을 세어 짐작할 수밖에 없다. 기록이 많을수록 짐작이 낫다는 것은 누구나 느끼지만, 그는 거기서 더 나아가 물었다. 관찰을 늘리면 참값을 맞힐 확실성이 끝없이 커지는가, 아니면 아무리 늘려도 넘을 수 없는 한계가 있는가? 그가 든 예는 흰 조약돌 3,000개와 검은 조약돌 2,000개가 든 항아리였다. 하나씩 꺼내 색을 적고 다시 넣기를 되풀이할 때, 흰 돌의 비율이 29/50과 31/50 사이에 들 가능성이 벗어날 가능성보다 1,000배 커지려면 몇 번 꺼내야 하는가. 그가 얻은 답은 25,550번이었다. 지금 정확히 계산하면 6,500번쯤이면 충분하므로 넉넉하게 잡은 값이었지만, 확실성에 한계가 없다는 것을 처음으로 숫자로 보인 것이다.

베르누이가 보인 것은 "던지는 횟수를 충분히 늘리면 비율이 참값에서 크게 벗어날 확률을 얼마든지 작게 만들 수 있다"는 것이었다. 오늘날 이 사실을 큰 수의 법칙 (관찰을 늘리면 비율이 참값으로 모인다는 법칙, law of large numbers)이라 부른다. 대수의 법칙이라고도 하는데, 여기서 대수(大數)는 대수학이 아니라 「큰 수」라는 뜻이다. 이름은 한 세기쯤 뒤인 1830년대에 푸아송이 붙였다. 베르누이의 항아리에서는 꺼낸 돌을 매번 다시 넣으므로, 한 번 꺼낸 결과가 다음 번의 확률을 바꾸지 않는다는 점도 눈여겨 두자. 아래에서는 같은 결론을 경우의 수를 세는 쪽에서 확인한다.

6,500번이면 될 걸 25,550번이라고 했으면 네 배 가까이 틀린 거잖아요. 20년이나 매달렸는데요.

민준 학생은 6,500을 어떻게 구할 거예요?

흰 돌이 나온 횟수마다 이항분포 확률을 구해서 29/50과 31/50 사이에 드는 것을 다 더하고… 아, 6,500번이면 더할 항만 수백 개인데, 항 하나하나에 큰 수의 계승이 들어가네요. 손으로는 한 번도 못 하겠어요.

게다가 몇 번이면 되는지 찾으려면 꺼내는 횟수를 바꿔 가며 그 덧셈을 되풀이해야 해요. 큰 수의 계승을 간단한 식으로 바꾸는 계산도, 이 덧셈을 종 모양 곡선 하나로 대신하는 계산도 베르누이가 세상을 떠난 뒤에야 나와요.

그러면 베르누이는 덧셈을 하지 않고 어떻게 25,550을 얻었어요?

이웃한 항끼리의 비를 써서, 참값에서 먼 쪽 항들의 합이 가운데 쪽 항들의 합의 몇 분의 일 이하인지를 부등식으로 눌렀어요. 정확한 값 대신 「이만큼이면 틀림없이 충분하다」는 수를 얻는 방법이라 넉넉할 수밖에 없었죠.

넉넉해도 한계가 없다는 건 보였네요. 그럼 확률을 더하는 대신 경우의 수를 세면, 동전 수를 늘릴수록 비율이 절반 근처로 몰리는 게 보일까요?

동전 100개

앞면이 100개인 미시상태는 단 하나뿐이지만, 앞면이 50개인 미시상태는 약 10²⁹개나 된다. 그렇다고 앞면이 정확히 50개일 확률이 큰 것은 아니어서, 표에서 보듯 약 0.08에 불과하다. 확률이 몰리는 곳은 50 한 점이 아니라 50 근처 전체다. 실제로 앞면이 40~60개 사이일 확률은 약 96%이고, 앞면 개수의 표준편차는 5개, 곧 전체의 5%다. 거의 모든 미시상태가 “경우의 수가 가장 많은 거시상태” 근처에 몰리는 것이다. 이렇게 몰리는 것을 집중 현상(concentration of measure)이라 부르자.

상대적 표준편차는 1/√N으로 줄어든다

그렇다면 동전 수를 더 늘리면 이 몰림은 얼마나 심해질까? 동전 N개에서 앞면 개수의 표준편차는 √N / 2라서 N과 함께 커지지만, 표준편차를 N으로 나눈 상대적 표준편차(앞면 비율의 표준편차)는 1/(2√N)이므로 N이 커질수록 오히려 줄어든다.

기체 1몰 정도가 되면 상대적 표준편차가 어떤 측정기로도 볼 수 없을 만큼 작아지므로, 거시적으로는 경우의 수가 가장 많은 거시상태 하나만 관찰된다.

일상 사례: 방 안의 공기

같은 논리로 방 안의 공기를 생각해 보자. 방 안 공기가 저절로 한쪽 구석에 몰리지 않는 이유는 그것이 물리 법칙으로 금지되어서가 아니다. 공기 분자가 방 전체에 고르게 퍼진 배치의 수에 비해, 한쪽에 몰린 배치의 수가 상대적으로 무시할 만큼 적기 때문이다. 다시 말해 동전 100개를 던졌을 때 모두 앞면이 나오지 않는 것과 같은 이유다.

ML에서: 테스트셋 크기와 정확도의 표준편차

테스트 예제 하나하나를 맞히느냐 틀리느냐를 동전 하나로 보면, 정확도는 앞면 비율과 같은 거시상태다. 그래서 정확도도 예제 수가 늘수록 덜 흔들리지만 정확도의 표준편차가 0이 되지는 않는다. 정확도의 표준편차가 얼마인지는 아래 문제에서 직접 계산해 보자.

문제 4. 리뷰 9개의 4.8점과 리뷰 1,600개의 4.5점

구글맵에서 가게 A는 리뷰 9개에 평점 4.8, 가게 B는 리뷰 1,600개에 평점 4.5다. 리뷰 하나하나의 별점은 그 가게의 참 평점 둘레에서 대략 1점씩 퍼져 있다고 하자(동전 하나가 앞면 개수를 1/2씩 흔드는 것과 같은 역할이다). 두 가게의 평점은 리뷰 운에 따라 보통 얼마나 흔들리는가? A가 B보다 낫다고 말할 수 있는가?

동전 N개면 앞면 개수가 √N / 2만큼 흔들렸으니까, 별점 합계는 √N × 1점만큼 흔들리겠네요. A는 √9 = 3점, B는 √1600 = 40점. 리뷰가 많은 B가 오히려 더 흔들리네요?

합계로는 그래요. 그런데 평점은 합계를 리뷰 수로 나눈 평균이죠. 3점을 9로 나누면 0.33점, 40점을 1,600으로 나누면 0.025점이에요. 평균의 표준편차는 1/√N으로 줄어듭니다.

그러면 A가 B보다 0.3점 높은데, A 평점의 표준편차가 0.33점이니까 그 범위 안이에요.

네. A의 참 평점이 B와 같은 4.5라도, 리뷰 9개의 평균이 4.8 이상으로 나올 확률이 대략 18%, 다섯 번에 한 번쯤이에요. 동전 9개를 던져 앞면이 6개 나왔다고 동전이 앞면 쪽으로 기울었다고 하지 않는 것과 같아요. 반대로 B의 4.5는 ±0.025점 안쪽이니 거의 그대로 믿어도 됩니다.

리뷰 몇 개뿐인 새 가게 4.9점 보고 갔다가 실망한 게 이거였네요.

평균의 표준편차가 1/√N으로 줄어드니까, 평점을 두 배 정밀하게 알려면 리뷰가 네 배 필요하겠네.

문제 5. 동전 하나의 분산에서 동전 N개의 표준편차로

공정한 동전 하나를 앞면 1, 뒷면 0으로 적을 때 이 0·1 값의 평균과 분산을 구하라. 이것으로 동전 N개의 앞면 개수의 표준편차가 √N / 2임을 보이고, 앞면 확률이 0.9인 동전이면 N = 400에서 앞면 비율이 얼마나 흔들리는지 구하라.

값이 0 아니면 1이고 반반이니까 평균은 1/2. 분산은 ⟨x²⟩ − ⟨x⟩²인데 x²도 0 아니면 1이라 ⟨x²⟩ = 1/2, 분산은 1/2 − 1/4 = 1/4이에요.

그럼 표준편차가 1/2이니까, 동전 N개면 N × 1/2 = N/2 아니에요?

N = 100에 넣어 볼까요? 앞면 개수가 평균 50에서 보통 50개씩 흔들린다는 건데, 그러면 0개나 100개가 흔하게 나와야 해요.

아, 실제로는 5개였죠. 독립인 걸 더하면 더해지는 건 표준편차가 아니라 분산이구나. 분산이 N/4니까 표준편차는 √N / 2, N = 100이면 5개예요.

네. 서로 독립인 동전들이 평균에서 벗어난 양은 일부가 서로 상쇄되니까 곧이곧대로 쌓이지 않아요. 앞면 확률이 0.9면 한 개의 분산은 0.9 × 0.1 = 0.09라서, N = 400이면 표준편차가 √36 = 6개, 비율로는 6/400 = 1.5%예요.

반반인 동전이 가장 많이 흔들리고, 한쪽으로 치우칠수록 덜 흔들리네요. 0.9 × 0.1이 0.5 × 0.5보다 작으니까.

문제 6. 같은 계산을 테스트셋에

정답률이 딱 1/2인 모델을 테스트 예제 N개로 평가한다. 예제 하나를 맞히면 1, 틀리면 0으로 보고, N = 400과 N = 2,500에서 정확도(맞힌 비율)가 보통 얼마나 흔들리는지 구하라. N = 400에서 정확도가 52%로 나왔다면 이 모델이 절반보다 잘 맞힌다고 말할 수 있는가?

리뷰 문제랑 같은 거 아니에요? 예제 하나가 리뷰 하나고, 정확도가 평점이고요. 그런데 별점은 1점씩 퍼져 있다고 했는데, 여기선 얼마나 퍼져 있는지 안 주셨어요.

맞히면 1, 틀리면 0인 값이 절반 확률로 나오면, 평균 1/2에서 얼마나 떨어져 있죠?

어느 쪽이든 1/2이요. 아, 동전 하나랑 똑같네요.

그럼 동전 N개에서 구한 표준편차를 빌려 올 수 있겠네요. 다만 여기서 보는 건 맞힌 개수가 아니라 비율이에요.

개수의 표준편차가 √N / 2니까, 비율로 바꾸려면 N으로 나누면 되겠네요. 1/(2√N)이고, N = 400이면 1/40 = 2.5%, 2,500이면 1/100 = 1%예요.

그럼 52%는 절반보다 2%나 높잖아요. 예제 400개면 적은 것도 아닌데, 잘 맞히는 모델이라고 해도 되겠네요.

2%를 무엇과 견줘야 할까요? 예제 400개로 잰 정확도의 표준편차가 2.5%p예요. 정답률이 딱 절반인 모델도 예제 400개에서 52% 이상이 나올 확률이 약 23%, 네 번에 한 번꼴입니다. 동전 400개를 던져 앞면이 208개 나왔다고 동전이 앞면 쪽으로 기울었다고 하지 않는 것과 같아요.

리뷰 9개짜리 4.8점을 믿으면 안 되는 거랑 같은 얘기네요. 논문 표에서 예제 1만 개로 0.3%p 차이 난 것도, 예제 1만 개면 정확도의 표준편차가 0.5%p니까 우연일 수 있겠고요.

그래서 여러 번 돌려서 평균과 표준편차를 같이 적는구나. 정확도를 두 배 정밀하게 재려면 예제가 네 배 필요하고.