시간과 주파수를 함께: 단시간 푸리에 변환과 웨이블릿
자주 하는 실수와 요약
자주 하는 실수
| 실수 |
바른 생각 |
나온 문제 |
| 합계가 같으면 같은 기록이다 |
합계(소리 전체의 스펙트럼)는 「언제」를 담지 않는다. 묶음을 옮기며 재야 시간 순서가 보인다 |
문제 1 |
| 부분마다 자리를 바꿔도 전체를 민 것처럼 파워 스펙트럼이 그대로다 |
전체를 밀면 위상만 돌아 파워는 그대로지만, 조각마다 다르게 밀면 번진 꼬리끼리 더하는 각도가 달라져 파워가 조금 바뀐다 |
문제 2 |
| 두 주파수가 다른 빈에 들어가면 갈라져 보인다 |
빈 간격은 빈의 자리만 정한다. 봉우리가 번지는 폭(해닝 25 ms 면 양옆 80 Hz 정도)보다 멀어야 갈라진다 |
문제 3 |
| 오래 셀수록 「언제 바뀌었나」도 정확해진다 |
세는 시간이 T 초면 눈금은 1/T Hz, 시각은 T 초 안쪽 어딘가다. 둘을 함께 좁힐 수 없다 |
문제 4 |
| 시간 퍼짐 1 ms, 주파수 퍼짐 10 Hz 인 윈도우를 만들 수 있다 |
곱이 1/(4π) = 0.0796보다 작은 윈도우는 없다 |
문제 5 |
| 네모 윈도우는 불확정성 원리를 깬다 |
네모 윈도우의 주파수 퍼짐은 무한대라 부등식은 넉넉히 성립한다. 끊긴 끝이 가짜 주파수를 끝없이 만든다 |
문제 5 |
| 윈도우 길이를 잘 고르면 2 Hz 차이와 1 ms 충격을 한 장에서 함께 본다 |
2 Hz 를 가르는 윈도우(2초쯤)와 0.1초 간격 충격을 가르는 윈도우(0.1초 미만)가 겹치지 않는다. 윈도우를 여럿 쓰거나 웨이블릿을 쓴다 |
문제 6 |
| 하르의 중간 단계 차이는 첫 단계 차이에서 낸다 |
차이는 언제나 앞 단계의 평균에서 낸다 |
문제 8 |
| 단계별 제곱합은 자리를 버렸으니 밀어도 꼭 같다 |
밀면 떨림의 제곱합 일부가 쌍의 경계를 넘어 다른 단계로 옮겨 간다. 덜 바뀔 뿐 그대로는 아니다 |
문제 9 |
요약
- 단시간 푸리에 변환: 소리 전체의 스펙트럼은 「언제」를 위상 속에 흩어 놓는다. 윈도우 w 를 곱한 짧은 조각을 H칸씩 옮기며 DFT 하면 시간 순서대로 늘어선 스펙트럼, 스펙트로그램 |X[m, k]|²를 얻는다. Whisper 는 16,000 Hz 소리에 해닝 윈도우 25 ms 를 10 ms 씩 옮겨 30초를 시간 칸 3000개로 만든다.
- 불확정성 원리: 윈도우의 시간 퍼짐과 주파수 퍼짐의 곱은 σtσf ≥ 1/(4π)이고, 등호는 가우스 윈도우다. 짧은 윈도우는 순간을 또렷이 짚고 가까운 주파수를 뭉개며, 긴 윈도우는 그 반대다. 윈도우 길이는 칸의 모양만 바꾸고 넓이는 못 줄인다.
- 웨이블릿 변환: 한 가지 모양의 작은 물결을 늘이고 옮겨 만든 묶음으로 적는다. 높은 주파수는 짧은 윈도우, 낮은 주파수는 긴 윈도우가 맡아 짧은 충격과 가까운 낮은 음을 한 장에 함께 담는다. 하르의 평균과 차이가 가장 단순한 예이고, 순간 하나는 계수 log₂N + 1개에 모인다.
- ML에서는 음성 모델의 입력이 단시간 푸리에 변환의 파워이고, 보코더의 손실은 윈도우 길이 셋으로 재며, 웨이블릿 산란 변환은 「웨이블릿 → 절댓값 → 평균」으로 옮기기에 흔들리지 않는 특징을 학습 없이 만든다.
flowchart LR
A["소리 전체의 스펙트럼<br/>무엇이 얼마나, 언제는 위상 속"] --> B["윈도우를 대고 옮기기<br/>스펙트로그램 |X[m,k]|²"]
B --> C["불확정성<br/>σt·σf ≥ 1/(4π)"]
C --> D["윈도우 하나로는 부족<br/>윈도우 여럿 또는"]
D --> E["웨이블릿<br/>높은 음은 짧게, 낮은 음은 길게"]
막힌 곳
- 이 장의 윈도우는 모두 소리 위에서 옮겼다. 사진에 윈도우를 대고 가로·세로로 옮기면 어떤 그림이 나올까? 사진의 결이 방향을 가질 때, 웨이블릿에도 방향이 필요할까?
- 단시간 푸리에 변환도 웨이블릿 변환도, 어느 시각에서 시작하든 같은 윈도우를 옮겨서 썼다. 윈도우를 「옮긴다」는 동작이 왜 이렇게 자주 나올까? 옮겨도 성질이 그대로인 연산은 어떤 기저와 잘 맞을까?
- 웨이블릿 산란 변환은 옮기기에 흔들리지 않는 특징을 만들었다. 그림을 돌리거나 구 위의 신호를 돌릴 때도 흔들리지 않는 특징을 만들려면, 무엇을 늘이고 옮기던 자리에 무엇을 넣어야 할까?