맺음: 고정된 축에서 배우는 축으로
자주 하는 실수와 요약
자주 하는 실수
| 실수 |
바른 생각 |
나온 문제 |
| 배운 축의 계수는 어느 한 시각의 승객 수 차이다 |
축은 여러 칸에 나뉜 길이 1 벡터다. 계수는 「그 축의 모양이 얼마나 들어 있나」이고, 한 시각의 승객 수 차이에 그 축이 보태는 값은 계수 × 그 시각의 축 값이다(8시: −1.43 × 0.72 = −1.03) |
문제 1 |
| 잘 맞는 배운 축은 비슷한 자료 어디에나 쓸 수 있다 |
배운 축은 그 자료의 사정(8시 봉우리)을 담는다. 놀이공원 앞 역에서는 푸리에 축보다도 나빴다 |
문제 1 |
| 거리가 같은 두 칸의 공분산은 같다 |
자리를 옮겨도 통계가 같을 때만 그렇다. 승객 수에서는 7·8시 0.392, 12·13시 0.082 로 달랐다 |
문제 2 |
| 오차가 같으면 오토인코더의 디코더 열이 배운 축이다 |
같은 것은 펼친 면이다. 면 안의 방향은 출발점에 따라 다르다 |
문제 3 |
| 평균이 가장 높은 쪽이 가장 좋다 |
자료가 적으면 전체 평균 쪽으로 끌어당겨 읽는다. 끌어당기는 무게는 자료가 늘수록 준다 |
문제 4 |
| 대칭이 정확하면 푸리에 축이 참 축과 같은 오차를 낸다 |
축의 모양은 대칭이 주지만 어느 물결이 센지는 자료로 잰다. 16일치로는 순서가 틀릴 수 있다 |
문제 5 |
| 평균 낸 공분산이 원형 행렬이면 자료가 대칭이다 |
평균 내기는 대칭을 덮어씌운다. 대칭이 없는 자료도 평균 내면 원형 행렬이 된다 |
문제 5 |
| 데이터 늘리기는 많이 할수록 좋다 |
늘리기 확률 p 는 섞는 비율 α 와 같다. 대칭이 깨진 자료에서 p = 1 은 거짓 자료를 섞는다 |
문제 6 |
요약
- 대칭이 기저를 고른다: 평행이동은 사인·코사인 물결을, 회전은 구면 조화를, 그래프의 이웃 관계는 라플라시안의 고유벡터를 고른다. 그 축으로 적으면 정보를 밀거나 돌려도 성분마다의 세기가 흐트러지지 않는다.
- 배운 축: 대칭이 없으면 자료가 축을 고른다. 공분산의 고유벡터를 고윳값이 큰 순서로 고르면 승객 수 24칸에서 축 4개로 상대 오차 0.081, 푸리에 축 4개로는 0.455였다. 대신 배운 축은 자료가 놓인 자리에 묶여, 하루를 세 시간 늦추면 다시 배워야 한다.
- 근사 대칭: 대칭이 대략만 성립하면 자료로 잰 공분산과 대칭으로 평균 낸 공분산을 비율 α 로 섞는다. 알맞은 비율로 섞은 축은 자료가 적을 때도 많을 때도 두 끝보다 낫고, 가장 좋은 α 는 자료가 늘수록 준다(센서 32개에서 4일 0.8 → 512일 0.3).
- ML에서는 제곱 오차로 배우는 선형 오토인코더가 배운 축이 펼친 면을 배우고, 데이터 늘리기의 확률이 섞는 비율 α 노릇을 하며, 대칭을 구조에 반쯤만 넣는 신경망과 고정된 필터의 꼴에서 출발해 숫자만 배우는 앞단이 그 사이를 잇는다. 배운 축 자체의 이야기는 「압축」 책이 맡는다.
flowchart LR
A["바탕의 대칭"] --> B["대칭이 고른 축<br/>물결 · 구면 조화 · 그래프의 고유벡터"]
B --> C["스펙트럼<br/>성분마다의 세기"]
D["대칭 없음"] --> E["배운 축<br/>공분산의 고유벡터"]
B --> F["근사 대칭: 비율 α 로 섞기"]
E --> F
E --> G["「압축」 책"]
남은 물음
- 센서 자료에서 가장 좋은 α 는 참 공분산을 알았기에 고를 수 있었다. 참 공분산을 모르는 실제 자료에서는 α 를 무엇으로 정해야 할까? 검증 자료를 떼어 두면 학습 자료가 줄어든다.
- 히터가 깬 것이 평행이동 대칭이라는 것은 사람이 알려 주었다. 자료가 어느 대칭을 대략 따르는지를 자료에서 찾아낼 수 있을까? 찾아낸 대칭이 자료의 우연인지 세상의 성질인지는 어떻게 가를까?
- 분산이 큰 순서로 고른 축은 물결무늬를, 적은 축으로 적도록 고른 축은 한곳에 몰린 무늬를 냈다. 같은 자료에서 기준만 바꿔도 축이 달라진다면, 「좋은 축」을 정하는 기준은 무엇이어야 할까? 짧게 적을 수 있다는 것과 이해했다는 것은 같은 말일까?