커널: 무한히 많은 물결을 셈 한 번으로

자주 하는 실수와 요약

자주 하는 실수

실수 바른 생각 나온 문제
곱 특징 9칸의 내적은 원래 점수의 내적과 상관없다 두 장르 곱 특징의 내적은 원래 내적의 제곱이다. 특징을 만들지 않고 셈 한 번으로 계산한다 문제 1
「가까울수록 크게」 재는 함수면 커널 함수다 어떤 점들을 골라도 커널 행렬의 고윳값이 0 이상이어야 한다. −(x − y)² 는 점 둘에서 길이 제곱이 −2 인 벡터를 만든다 문제 2
커널 함수는 특징이 많아도 되니 점이 많아도 괜찮다 커널 행렬은 점 수의 제곱으로 크고, 풀이는 세제곱으로 느려진다. 50만 점이면 행렬만 2,000 GB 다 문제 3
이웃을 더 닮게 쳐도 커널 함수는 그대로다 요일 닮음표는 s 가 0.555 를 넘으면 원을 세 번 도는 물결의 고윳값이 음수가 된다 문제 4
모양이 비슷한 뾰족한 꼴이면 둘 다 커널 함수다 상자 꼴은 주파수 분포가 음수인 곳이 있고, 상자를 자기 자신과 합성곱한 삼각형은 주파수 분포가 제곱이라 음수가 없다 문제 5
고윳값이 −3 × 10⁻¹⁵ 이면 커널 행렬이 아니다 반올림 오차 크기다. 특징 8개짜리 내적은 순위가 8을 넘지 못해 고윳값 0 이 여럿 나온다. 무게가 음수인 묶음이 있으면 진짜 음수(−2.9)가 나온다 문제 6
샘플을 두 배로 늘리면 오차가 절반이 된다 오차는 1/√D 로 준다. 절반으로 줄이려면 네 배, 열 배 정확하게 하려면 백 배가 든다 문제 7
위상 b 는 없어도 된다 b 를 빼면 평균이 K(x − y) + K(x + y) 가 되어 평행이동 불변이 깨진다. b 를 고르게 뽑거나 cos ωx 와 sin ωx 를 한 쌍으로 넣는다 문제 8
무작위 특징 어텐션은 늘 빠르다 곱셈 수의 비가 N/D 라서 글이 특징 수보다 짧으면 오히려 느리다 문제 9
두 관측소 사이는 거리에 비례해 나눠 붙인다 무게는 공분산(커널 함수)으로 정해지고, 합이 1 일 필요가 없다. 남은 무게는 사전 평균으로 간다 문제 10
같은 입력에서 잰 값이 둘이어도 그냥 풀면 된다 노이즈가 없다고 보면 커널 행렬이 특이해진다. 대각에 노이즈 분산을 더하면 곡선이 점을 꼭 지나지 않는다 문제 11
평균이 가장 좋은 자리를 다시 돌려 본다 이미 아는 자리에서는 새로 배울 것이 없다. 평균과 표준편차를 함께 보고, 가우시안 커널의 폭이 그 판단을 바꾼다 문제 12

요약

flowchart LR
  A["특징의 내적만 쓰인다<br/>커널 함수 K(x, y)"] --> B["어떤 함수가 커널 함수인가<br/>보흐너: 음수 없는 주파수 분포"]
  B --> C["그 분포에서 물결을 뽑는다<br/>랜덤 푸리에 특징, 상대 오차 1/√D"]
  B --> D["커널 함수를 공분산으로<br/>가우스 과정, 스펙트럼 = 매끄러움"]
  A --> D

막힌 곳