맺음: 고정된 축에서 배우는 축으로

혼동하기 쉬운 점과 요약

토론 1. 검증 점수가 가장 높은 모델이 가장 좋은 모델인가

모델 A 는 검증 문제 10개를 모두 맞혔고(1.00), 모델 B 는 검증 문제 2,000개에서 0.93 을 받았다. 지금까지 만든 모델들의 평균은 0.85 다. 어느 모델을 고르겠는가?

선생님 T01
선생님

모델 A 는 검증 문제 10개를 다 맞혔고, 모델 B 는 2,000개에서 0.93 이에요. 하나만 선택한다면요?

이서연 S01
이서연

1.00 이 0.93 보다 크니까 A 요. 하나도 안 틀렸잖아요.

선생님 T01
선생님

정확도가 0.86 인 모델이 문제 10개를 풀면, 다 맞힐 확률은 얼마일까요?

이서연 S03
이서연

0.86 의 열제곱이니까… 0.221 이에요. 다섯 번에 한 번 넘게 만점이 나와요?

김민준 M01
김민준

0.93 짜리 모델이면 0.484 야. 절반 가까이 만점이고. 열 문제 만점은 0.86 짜리에서도, 0.93 짜리에서도 흔히 나오네.

이서연 S04
이서연

그럼 A 의 만점은 A 가 B 보다 낫다는 증거가 못 되네요. 문제 10개로는 0.86 인지 0.99 인지 거의 못 가르니까요.

선생님 T02
선생님

B 의 0.93 은 얼마나 흔들릴까요?

김민준 M01
김민준

2,000개면 표준편차가 √(0.93 × 0.07 / 2000) = 0.0057 이에요. 두 배를 잡아도 0.919 에서 0.941 사이요.

선생님 T01
선생님

그럼 둘을 같은 저울에 올리려면 어떻게 할까요? 문제 4(리뷰 세 개짜리 식당)의 식을 떠올려 봐요.

이서연 S07
이서연

모든 모델의 평균 0.85 를 무게 10 만큼 섞으면, A 는 (10 × 1.00 + 10 × 0.85) ÷ 20 = 0.925, B 는 (2000 × 0.93 + 10 × 0.85) ÷ 2010 = 0.930 이에요. 이번엔 B 가 앞서요.

김민준 M08
김민준

리뷰 세 개짜리 식당도 리뷰가 적어서 전체 평균 쪽으로 끌려가 꼴찌가 됐지. A 도 문제를 적게 풀어서 끌려간 거고.

선생님 T13
선생님

그래요. 자료가 적은 쪽의 높은 평균은 전체 평균 쪽으로 끌어당겨 읽고, 자료가 늘수록 당기는 무게를 줄여요. 그래도 A 가 궁금하면 검증 문제를 더 풀려 보는 게 가장 확실하고요.

토론 2. 평균 낸 공분산이 원형 행렬이면 자료가 대칭인가

히터 표준편차가 4 인 센서 자료로 32가지 밀기를 평균 낸 공분산 C̄ 가 원형 행렬로 나왔다. 이 탱크의 자료는 자리를 옮겨도 통계가 같다고 말할 수 있는가?

선생님 T01
선생님

문제 5(히터가 약하면, 세면)에서 히터 표준편차를 4 로 키운 자료도 C̄ 는 원형 행렬이었어요. 첫 행을 한 칸 밀어 둘째 행과 비교하면 차이가 2.2 × 10⁻¹⁶ 이었죠. 이걸 보고 무엇을 말할 수 있을까요?

김민준 M01
김민준

원형 행렬이면 두 칸의 공분산이 거리에만 기댄다는 거니까, 이 탱크 자료는 자리를 옮겨도 통계가 같다는 거 아니에요? 스크립트가 확인해 준 셈이고요.

선생님 T01
선생님

히터 표준편차가 0 인 자료와 4 인 자료로 각각 C̄ 를 만들면 어떻게 나올까요?

김민준 M04
김민준

둘 다 원형 행렬이에요… 히터가 있든 없든 똑같이 원형이면, 원형이라는 게 히터에 대해 아무것도 말해 주지 않네요.

이서연 S03
이서연

32가지 밀기를 다 평균 냈으니까 어떤 자료를 넣어도 한 칸 민 행렬과 같아질 수밖에 없어. 원형 행렬은 자료가 준 게 아니라 평균 내는 식이 만든 거야.

선생님 T02
선생님

그럼 대칭이 있는지는 어디를 봐야 알까요?

김민준 M03
김민준

평균 내기 전의 공분산이요?

이서연 S01
이서연

응. 문제 5 그림에서 히터 표준편차 4 인 참 공분산은 대각선, 곧 칸마다의 분산이 칸 6 둘레에서 솟아 있었어. 자리를 옮겨도 통계가 같다면 서른두 칸이 다 같아야 하는데.

선생님 T13
선생님

그래요. 평균 내기는 대칭을 확인해 주지 않고 대칭을 덮어씌워요. 그래서 대칭을 얼마나 믿을지는 평균 낸 행렬이 아니라 원래 자료로 따로 정해야 하고, 대칭을 믿는 정도가 섞는 비율 α 예요.

이서연 S11
이서연

행렬 A 를 (A + Aᵀ)/2 로 바꾸면 늘 대칭 행렬이 나오는 거랑 같네요. 그렇다고 원래 A 가 대칭이었다는 뜻은 아니고요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 바른 생각 나온 문제
배운 축의 계수는 어느 한 시각의 승객 수 차이다 축은 여러 칸에 나뉜 길이 1 벡터다. 계수는 「그 축의 모양이 얼마나 들어 있나」이고, 한 시각의 승객 수 차이에 그 축이 보태는 값은 계수 × 그 시각의 축 값이다(8시: −1.43 × 0.72 = −1.03) 문제 1
잘 맞는 배운 축은 비슷한 자료 어디에나 쓸 수 있다 배운 축은 그 자료의 사정(8시 봉우리)을 담는다. 놀이공원 앞 역에서는 푸리에 축보다도 나빴다 문제 1
거리가 같은 두 칸의 공분산은 같다 자리를 옮겨도 통계가 같을 때만 그렇다. 승객 수에서는 7·8시 0.392, 12·13시 0.082 로 달랐다 문제 2
오차가 같으면 오토인코더의 디코더 열이 배운 축이다 같은 것은 펼친 면이다. 면 안의 방향은 출발점에 따라 다르다 문제 3
평균이 가장 높은 쪽이 가장 좋다 자료가 적으면 전체 평균 쪽으로 끌어당겨 읽는다. 끌어당기는 무게는 자료가 늘수록 준다 토론 1
대칭이 정확하면 푸리에 축이 참 축과 같은 오차를 낸다 축의 모양은 대칭이 주지만 어느 물결이 센지는 자료로 측정한다. 16일치로는 순서가 틀릴 수 있다 문제 5
평균 낸 공분산이 원형 행렬이면 자료가 대칭이다 평균 내기는 대칭을 덮어씌운다. 대칭이 없는 자료도 평균 내면 원형 행렬이 된다. 대칭이 있는지는 평균 내기 전의 자료로 본다 토론 2
데이터 늘리기는 많이 할수록 좋다 늘리기 확률 p 는 섞는 비율 α 와 같다. 대칭이 깨진 자료에서 p = 1 은 거짓 자료를 섞는다 문제 6

요약

처음의 물음, 바탕의 모양이 다른 정보를 같은 방법으로 볼 수 있느냐에 이 책은 바탕의 대칭이 고른 축으로 다시 적으면 된다고 답했다. 맺음은 그 답이 끝나는 곳을 보았다. 대칭이 없으면 자료가 축을 고르고, 대칭이 어설프면 두 축을 섞되 자료가 적을수록 대칭을 더 믿는다.

flowchart LR
  A["바탕의 대칭"] --> B["대칭이 고른 축<br/>물결 · 구면 조화 · 그래프의 고유벡터"]
  B --> C["스펙트럼<br/>성분마다의 세기"]
  D["대칭 없음"] --> E["배운 축<br/>공분산의 고유벡터"]
  B --> F["근사 대칭: 비율 α 로 섞기"]
  E --> F
  E --> G["『정보이론:<br/>압축과 이해의 관계는?』"]

남은 물음