음성: 소리를 스펙트럼으로 듣기
자주 하는 실수와 요약
자주 하는 실수
| 실수 |
바른 생각 |
나온 문제 |
| 줄의 한가운데를 살짝 대는 것은 누르는 것과 같다 |
줄 길이는 그대로이고, 한가운데가 마디인 떨림(짝수 번째 배음)만 남는다 |
문제 1 |
| 음높이는 가장 낮은 물결의 주파수다 |
기본음이 빠져도 배음 줄의 간격으로 같은 높이가 들린다. 물결을 고르게 밀어 정수배가 깨지면 들리는 높이도 조금 움직인다 |
문제 2 |
| 자기상관이 가장 큰 지연이 곧 주기다 |
주기의 배수는 모두 같은 점수를 받는다. 동점을 깨는 규칙에 따라 한 옥타브 틀림이 생긴다 |
문제 3 |
| 헬륨 목소리는 음높이가 올라간 것이다 |
성대는 그대로라 배음 간격은 같고, 봉우리가 올라 센 배음이 위로 옮겨 간다 |
문제 4 |
| 높은 음으로 불러도 봉우리 자리는 배음에서 똑같이 읽힌다 |
배음은 필터 윤곽을 f₀ 간격으로 샘플링한다. 간격이 넓으면 봉우리 자리를 잃는다 |
문제 5 |
| 녹음 재생 속도를 바꾸면 모음이 바뀐다 |
원천과 필터가 같은 배수로 옮겨 배음 번호로 본 모양은 같다. 모음은 지키고 사람만 바꾸는 늘리기다 |
문제 6 |
| 좁은 띠 그림에서 가로줄이 늘면 음높이가 오른 것이다 |
같은 범위에 줄이 늘었다면 간격이 좁아진 것이고 음높이가 내려간 것이다 |
문제 7 |
| 필터 폭은 목소리와 상관없이 하나로 정하면 된다 |
배음 간격보다 넓어야 포먼트가 매끈한 띠로 보인다. 높은 목소리일수록 더 짧은 윈도우가 필요하다 |
문제 8 |
| 파형이 칸마다 어긋나면 되살리기는 실패다 |
부호만 뒤집어도 칸별 오차는 크다. 귀에 가까운 잣대는 세기 그림의 오차다 |
문제 9 |
| 멜 눈금은 피아노 건반 눈금과 같다 |
건반은 처음부터 로그, 멜은 낮은 쪽에서 Hz 에 가깝고 높은 쪽에서 로그에 가깝다 |
문제 10 |
| 멜 채널을 늘리면 낮은 쪽이 그만큼 또렷해진다 |
채널은 FFT 칸을 묶을 뿐이다. 낮은 쪽은 이미 FFT 칸 하나씩이라 윈도우를 길게 해야 또렷해진다 |
문제 11 |
| 가리개 위치를 고르게 고르면 채널마다 고르게 지워진다 |
양 끝 채널은 덜 지워지고, 맨 위 채널은 한 번도 지워지지 않는다 |
문제 12 |
요약
- 배음: 기본 주파수 f₀로 되풀이되는 소리는 f₀의 정수배 물결의 합이다. 음높이는 배음 줄의 간격으로 들리고, 악기와 목소리의 맛깔은 줄마다의 세기가 정한다.
- 포먼트: 입안의 공명은 원천의 배음에 봉우리 모양의 배율을 곱한다(데시벨로는 더한다). 같은 높이의 「아」와 「이」는 배음 줄의 자리가 같고, 봉우리 F₁, F₂의 자리가 다르다(730·1090 Hz 대 270·2290 Hz를 빌린 값).
- 스펙트로그램 읽기: 긴 윈도우(좁은 띠)는 배음을 가로줄로, 짧은 윈도우(넓은 띠)는 포먼트를 진한 띠로, 성대가 닫히는 순간을 세로줄로 보여 준다. 띠 폭은 약 1.44 ÷ 윈도우 길이다.
- 멜 눈금: 귀는 높은 쪽으로 갈수록 같은 Hz 차이를 덜 촘촘하게 가른다. 멜 눈금에서 고른 간격으로 놓은 삼각 필터로 세기를 묶어 로그를 취한 것이 로그 멜이다.
- ML에서는 CREPE 가 파형에서 음높이를 읽고, DDSP 가 원천과 필터를 층으로 쓰고, 재생 속도 바꾸기가 원천과 필터를 함께 옮겨 데이터를 늘린다. 신경 오디오 코덱은 여러 윈도우 길이의 멜 스펙트로그램으로 채점하고, Whisper 는 80칸(large-v3 는 128칸) 로그 멜을 듣는다.
flowchart LR
A["성대: 원천<br/>f₀ 의 정수배 배음"] --> B["입안: 필터<br/>봉우리 F₁, F₂"]
B --> C["입 밖의 소리<br/>배음 세기 = 원천 × 필터"]
C --> D["스펙트로그램<br/>긴 윈도우: 배음 / 짧은 윈도우: 포먼트"]
D --> E["멜 눈금으로 묶기<br/>로그 멜 80칸·128칸"]
E --> F["음성 인식 모델의 입력"]
막힌 곳
- 이 장의 모든 신호는 시간이라는 줄 하나 위에 놓였고, 스펙트로그램도 시간 축과 주파수 축 두 개뿐이었다. 사진처럼 가로·세로 두 방향으로 값이 놓인 신호라면 「주파수」는 몇 개의 수로 적어야 할까? 줄무늬의 방향은 어디에 담길까?
- 스펙트로그램은 세기만 남기고 위상을 버렸는데도 귀에는 원래 소리처럼 들릴 때가 많았다. 다른 신호, 예를 들어 그림에서도 위상을 버려도 될까?
- Whisper 의 멜 필터와 윈도우 길이는 사람이 정했다. 녹음을 처음 받는 신경망이 필터 모양까지 스스로 배우게 하면 어떤 모양을 고를까? 그 모양은 왜 하필 사인·코사인 물결과 닮을까, 혹은 닮지 않을까?