스펙트럼 편향: 신경망은 굵은 무늬부터 배운다

자주 하는 실수와 요약

자주 하는 실수

실수 바른 생각 나온 문제
두 물결을 함께 틀리면 손실은 (1 + 0.5)² 이다 출렁임 수가 다른 물결은 직교해 곱의 평균이 0 이고, 손실은 물결마다 진폭² / 2 를 더한 값이다 문제 1
손실이 머물면 학습이 막힌 것이다 굵은 물결은 다 맞추고 가는 물결 하나가 남은 자리일 수 있다. 머문 값이 남은 물결의 진폭을 알려 준다 문제 1, 2
경사하강은 진폭이 큰 물결부터 지운다 가는 물결의 진폭을 두 배로 줘도 굵은 물결이 먼저 맞았다. 순서는 커널의 고윳값이 정한다 문제 3
합계가 빨리 줄던 비율로 앞으로도 준다 축마다 줄어드는 비율이 따로 있어 느린 축이 남으면 합계도 느려진다 문제 4
학습률을 키우면 가는 물결도 빨리 배운다 학습률의 끝은 가장 큰 고윳값이 정한다(η < 2/λ). 가장 큰 것과 가장 작은 것의 비만큼 늦다 문제 5
학습 손실이 노이즈의 제곱 평균보다 작아지면 더 좋아진 것이다 노이즈까지 외우기 시작한 것이다. 스펙트럼 편향 덕에 일찍 멈추면 높은 주파수 노이즈가 걸러진다 문제 6
빠른 특징만 있으면 위치를 다 가를 수 있다 빠른 바퀴는 가까운 두 점만 가른다. 먼 두 점은 느린 특징이 가른다 문제 7
특징 공간에서도 가까운 점은 가깝다 주파수를 너무 높이 넣으면 가까운 점이 멀어지고 먼 점이 이웃이 된다 문제 8
푸리에 특징의 L 은 클수록 좋다 데이터에 든 가장 높은 주파수까지만. 넘치면 노이즈를 빨리 외우고, 칸 간격을 넘으면 에일리어싱이 생긴다 문제 9
범위 밖의 값은 각도를 줄이기만 하면 된다 줄이면 학습 때 배운 각도의 뜻이 바뀌므로 다시 학습해야 하고, 빠른 바퀴까지 줄이면 가는 정보를 잃는다 문제 10, 12
위치 보간과 밑수 바꾸기는 같다 위치 보간은 모든 묶음을 같은 비율로, 밑수를 키우면 빠른 묶음은 덜 느린 묶음은 더 줄인다 문제 11

요약

flowchart LR
  A["스펙트럼 편향<br/>굵은 물결이 먼저"] --> B["까닭: 커널 고윳값<br/>높은 주파수에서 작다"]
  B --> C["푸리에 특징<br/>고윳값을 고르게"]
  C --> D["위치 인코딩 = 1차원 푸리에 특징<br/>못 본 각도와 위치 보간"]
  B --> E["일찍 멈추기<br/>높은 주파수 노이즈 거르기"]

막힌 곳