샘플링: 칸 간격과 에일리어싱

이 장의 물음

옛 서부 영화에서 마차가 달려 나가는데 바퀴는 거꾸로 돌거나 멈춘 듯 보이는 장면이 있다. 휴대폰으로 컴퓨터 모니터를 찍으면 화면에 없던 물결 띠가 사진에 번지고, 가는 줄무늬 셔츠를 입은 사람이 화면에 나오면 셔츠가 아른거린다. 셋 다 눈앞에 있는 것을 띄엄띄엄 측정해서 생긴 일로, 영화는 1초를 여러 장으로 끊고 카메라 센서는 화면을 낱칸으로 나눈다.

칸으로 적은 신호를 물결로 나누는 계산(이산 푸리에 변환)은 칸 N개를 물결 N개로 바꾼다. 그런데 칸과 칸 사이에서 신호가 무엇을 했는지는 칸만 보아서는 모른다. 하루 기온을 여덟 칸으로 적었을 때 하루 5번 도는 물결과 하루 3번 거꾸로 도는 물결이 칸마다 같은 값을 냈고, 점 8개로 그린 네모를 도는 화살표로 다시 그릴 때도 주파수 5인 화살표와 주파수 −3인 화살표는 그 8점에서 같은 자리를 지났다.

ML에서도 띄엄띄엄 측정해서 생기는 착각이 나온다. 합성곱 신경망에 사진을 넣고, 같은 사진을 한 픽셀만 옆으로 밀어 다시 넣으면 분류 점수가 눈에 띄게 바뀌는 경우가 있다. 그림을 그리는 생성 모델이 얼굴을 돌리는 영상을 만들 때 수염과 머리카락 무늬가 얼굴을 따라가지 않고 화면에 붙어 있는 것처럼 보이기도 한다.

칸만 보고도 칸 사이까지 되살릴 수 있는 때는 언제이고, 되살릴 수 없을 때는 언제 손을 써야 할까? 이 장은 다음 물음에 차례로 답한다.

에일리어싱: 빠른 물결이 느린 물결로 둔갑한다

1초에 7번 출렁이는 물결이 있다고 하자. 이 물결을 1초에 8번씩, 1/8초마다 한 번 측정해서 숫자 9개를 얻었다. 숫자만 받은 사람이 그 점들을 이어 보면 1초에 한 번 천천히 오르내리는 물결이 나온다. 7번 출렁이던 물결이 어디로 갔을까? 그리고 받은 사람은 그것이 원래 1초에 한 번 출렁이던 물결이 아니라는 것을 알아낼 수 있을까?

역사: 바퀴 착시에서 움직이는 그림으로

돌아가는 바퀴가 띄엄띄엄 보이면 이상하게 움직인다는 것은 영화보다 먼저 알려졌다. 1824년 영국의 의사 로제(Peter Mark Roget)는 세로로 늘어선 가는 창살 사이로 굴러가는 바퀴를 볼 때 바퀴살이 이상한 모양으로 보이는 착시를 풀이한 글을 썼다. 벨기에의 플라토(Joseph Plateau)는 대학생 시절 반대 방향으로 빠르게 도는 두 톱니바퀴를 겹쳐 보면 바퀴가 멈춰 선 것처럼 보이는 착시를 보고 1828년에 글로 냈다. 1830년 12월 패러데이(Michael Faraday)는 영국 왕립연구소에서 「특이한 종류의 시각 착각에 관하여」라는 발표로 도는 바퀴가 만드는 착시들을 다루었다.

착시를 풀이하던 사람들은 같은 원리를 뒤집어 썼다. 원판 둘레에 조금씩 다른 그림을 늘어놓고, 그림 사이마다 가는 구멍을 낸 뒤 원판을 돌리며 거울에 비친 그림을 구멍으로 들여다본다. 구멍이 눈앞을 지나는 순간에만 그림 한 장이 보이므로 눈은 그림을 띄엄띄엄 보는데, 그러면 멈춰 있는 그림들이 움직이는 것처럼 보인다. 1832년 말에서 1833년 초 사이에 플라토와 오스트리아의 스탐퍼(Simon Stampfer)가 거의 같은 때에 이런 원판을 내놓았다. 띄엄띄엄 보여 주는 방법이 그림을 움직이게 만들었고, 같은 방법이 바퀴를 거꾸로 돌게도 한다. 영화와 동영상은 이 원판의 후손이다.

스탐퍼의 스트로보스코프 원판(1833). 둘레의 가는 구멍 10개로 거울에 비친 그림을 들여다보며 돌리면, 구멍이 지나는 순간마다 얼굴 하나씩만 보여 얼굴이 움직인다. 쿠퍼 휴잇 스미스소니언 디자인 박물관 소장. 출처: Wikimedia Commons, 퍼블릭 도메인
스탐퍼의 스트로보스코프 원판(1833). 둘레의 가는 구멍 10개로 거울에 비친 그림을 들여다보며 돌리면, 구멍이 지나는 순간마다 얼굴 하나씩만 보여 얼굴이 움직인다. 쿠퍼 휴잇 스미스소니언 디자인 박물관 소장. 출처: Wikimedia Commons, 퍼블릭 도메인
김민준 M01
김민준

바퀴가 거꾸로 도는 건 1초에 찍는 장 수와 바퀴가 1초에 도는 바퀴 수만 알면 바로 계산이 되잖아요. 그때는 왜 그게 수수께끼였어요?

선생님 T02
선생님

1830년에는 1초에 몇 장씩 찍는 영화가 없었어요. 로제가 본 건 창살 사이로 굴러가는 바퀴였고, 플라토가 본 건 겹쳐 도는 두 톱니바퀴였죠. 그러면 무엇이 띄엄띄엄 측정하는 칸 노릇을 하는지부터 찾아야 했어요.

이서연 S01
이서연

음, 로제 쪽은 창살이 칸이겠네요. 그런데 바퀴가 어느 순간에 어디 있었는지는 어떻게 확인했어요?

선생님 T01
선생님

확인할 길이 없었어요. 한 순간을 붙잡아 둘 사진기도 아직 없었거든요. 다게르가 사진술을 세상에 알린 것이 1839년이에요. 눈에 남은 인상만 가지고 분석해야 했어요.

김민준 M04
김민준

아, 그럼 스탐퍼의 원판은 띄엄띄엄 보는 칸을 일부러 만든 거네요. 구멍 하나가 눈앞을 지나는 순간이 한 번 측정하는 순간이고요.

이서연 S03
이서연

그러면 구멍이 지나는 사이에 그림이 얼마나 바뀌어야 거꾸로 가는 것처럼 보이는지도 미리 셀 수 있을까요? 바퀴로 치면 한 번 보고 다음에 볼 때까지 얼마나 돌아야 하는지요.

7 Hz 물결을 초당 8번 측정하면

물결이 1초에 출렁이는 횟수(주파수)는 Hz(헤르츠)로 적고, 물결을 도는 화살표로 보면 주파수는 화살표가 1초에 도는 바퀴 수와 같다. 7 Hz 물결 cos(2π·7t)를 1/8초마다 측정해 보자. 물결을 원 위를 도는 화살표의 가로 자리로 보면 손으로 셀 수 있다. 7 Hz 화살표는 1초에 7바퀴를 돌므로, 1/8초마다 7/8바퀴(315°)씩 돈다.

측정한 순서 n 0 1 2 3 4 5 6 7 8
시각 (초) 0 1/8 2/8 3/8 4/8 5/8 6/8 7/8 1
7 Hz 화살표 각도 0° 315° 270° 225° 180° 135° 90° 45° 0°
7 Hz 물결의 값 1 0.707 0 −0.707 −1 −0.707 0 0.707 1
1 Hz 물결의 값 1 0.707 0 −0.707 −1 −0.707 0 0.707 1

315°는 360°에서 45°가 모자란 각이어서, 한 바퀴를 거의 다 돌고 45° 덜 간 자리는 거꾸로 45° 돌아간 자리와 같다. 그러니 1/8초마다 보는 사람에게 7 Hz 화살표는 한 번에 45°씩 거꾸로 도는 화살표로 보이고, 45°씩 도는 것은 1초에 한 바퀴, 1 Hz다. 코사인은 화살표의 가로 자리라서 도는 방향을 가리지 않으므로, 아홉 값은 1 Hz 물결의 값과 하나도 다르지 않다. 둘을 구분할 정보가 샘플에 아예 남지 않는다.

왼쪽: 7 Hz 물결(초록)을 1/8초마다 측정한 값(점)은 1 Hz 물결(파란 점선) 위에 그대로 놓인다. 오른쪽: 측정한 순서마다 7 Hz 화살표의 자리. 한 번에 315° 도는 것은 거꾸로 45° 도는 것과 같은 자리를 지난다(스크립트 sources/sampling/s1_alias.py, 그림 figs.py)
왼쪽: 7 Hz 물결(초록)을 1/8초마다 측정한 값(점)은 1 Hz 물결(파란 점선) 위에 그대로 놓인다. 오른쪽: 측정한 순서마다 7 Hz 화살표의 자리. 한 번에 315° 도는 것은 거꾸로 45° 도는 것과 같은 자리를 지난다(스크립트 sources/sampling/s1_alias.py, 그림 figs.py)

도는 각도에서 360°의 정수배를 덜어 내는 계산을 다른 주파수에도 할 수 있다. 1/8초마다 측정하면 화살표가 한 번에 도는 각도에서 360°의 정수배는 보이지 않는다. 9 Hz는 한 번에 405° = 360° + 45°를 돌아 1 Hz와 같고, 15 Hz는 675° = 720° − 45°로 거꾸로 1 Hz와 같다. 1초에 측정하는 횟수를 fs 라 하면, 물결의 주파수 f에서 fs의 정수배를 빼도 샘플 값은 하나도 바뀌지 않는다. 샘플만 보는 사람은 그 가운데 가장 느린 것을 보게 된다.

x(nΔ)=cos⁡ ⁣(2πf nΔ)=cos⁡ ⁣(2π(f−mfs) nΔ),f보임=f−fs⋅round ⁣(ffs)\textcolor{#1b9e77}{x}(\textcolor{#a67a63}{n}\textcolor{#697800}{\Delta}) = \cos\!\big(2\pi \textcolor{#0078e1}{f}\,\textcolor{#a67a63}{n}\textcolor{#697800}{\Delta}\big) = \cos\!\big(2\pi (\textcolor{#0078e1}{f} - m\textcolor{#697800}{f_s})\,\textcolor{#a67a63}{n}\textcolor{#697800}{\Delta}\big), \qquad \textcolor{#0078e1}{f}_{\text{보임}} = \textcolor{#0078e1}{f} - \textcolor{#697800}{f_s}\cdot\mathrm{round}\!\Big(\frac{\textcolor{#0078e1}{f}}{\textcolor{#697800}{f_s}}\Big)
x(nΔ)n 번째로 잰 값 (시각 nΔ)f주파수: 물결이 1초에 출렁이는 횟수 (Hz)fs, Δ=1/fs샘플링 레이트 (1초에 재는 횟수)와 재는 간격 (초)m아무 정수f보임샘플만 보고 읽게 되는 가장 느린 주파수 (음수면 도는 방향이 반대)\begin{array}{ll} \textcolor{#1b9e77}{x}(\textcolor{#a67a63}{n}\textcolor{#697800}{\Delta}) & \text{n 번째로 잰 값 (시각 } n\Delta\text{)} \\ \textcolor{#0078e1}{f} & \text{주파수: 물결이 1초에 출렁이는 횟수 (Hz)} \\ \textcolor{#697800}{f_s},\ \textcolor{#697800}{\Delta} = 1/\textcolor{#697800}{f_s} & \text{샘플링 레이트 (1초에 재는 횟수)와 재는 간격 (초)} \\ m & \text{아무 정수} \\ \textcolor{#0078e1}{f}_{\text{보임}} & \text{샘플만 보고 읽게 되는 가장 느린 주파수 (음수면 도는 방향이 반대)} \end{array}

주파수 f인 물결을 fs의 간격으로 측정해서 fs의 정수배만큼 다른 느린 물결로 보이게 되는 일을 에일리어싱 (빠른 물결이 느린 물결로 둔갑 / aliasing)이라 한다. 영어 alias는 「다른 이름」이라는 뜻으로, 샘플 안에서 빠른 물결이 느린 물결의 이름을 달고 나타난다는 말이다. 둔갑하지 않고 제 이름으로 보이는 주파수는 −fs/2에서 fs/2 사이뿐이다. 샘플링 레이트의 절반인 fs/2를 나이퀴스트 주파수 (둔갑하지 않는 주파수의 위쪽 끝 / Nyquist frequency)라 부른다. 초당 8번 측정하면 나이퀴스트 주파수는 4 Hz다. 이름의 주인 나이퀴스트가 전신선 문제를 풀다 「두 배」라는 수에 닿은 이야기는 아래 역사에서 본다.

바퀴는 이 둔갑이 눈에 보이는 예다. 바퀴살 12개, 지름 1 m인 마차 바퀴가 1초에 1.9바퀴 돈다(시속 21.5 km, 설명을 위해 고른 바퀴다). 영화는 1초에 24장을 찍으므로, 한 장 사이에 바퀴는 360° × 1.9 / 24 = 28.5°를 돈다. 바퀴살 사이의 각은 30°라서, 다음 장에서 바퀴살은 거의 다음 바퀴살 자리까지 갔다가 1.5° 덜 간 곳에 있다. 바퀴살은 모두 같은 모양이라 눈은 어느 살이 어느 살인지 가리지 못하고, 가장 가까운 자리를 이어 「1.5° 거꾸로 갔다」고 읽는다. 바퀴살 무늬는 1초에 12 × 1.9 = 22.8번 제자리 모양으로 돌아오는 물결이고, 이 물결을 초당 24번 측정하면 22.8 − 24 = −1.2, 1초에 1.2번 거꾸로 도는 무늬로 보인다. 바퀴로 치면 1초에 0.1바퀴씩 거꾸로 돈다.

바퀴살 12개, 1초에 1.9바퀴, 초당 24장. 빨간 살은 한 장마다 시계 방향으로 28.5° 가지만, 처음 빨간 살 자리(파란 점선) 가까이에 오는 살은 장마다 1.5°씩 시계 반대 방향으로 물러난다(s1_alias.py, figs.py)
바퀴살 12개, 1초에 1.9바퀴, 초당 24장. 빨간 살은 한 장마다 시계 방향으로 28.5° 가지만, 처음 빨간 살 자리(파란 점선) 가까이에 오는 살은 장마다 1.5°씩 시계 반대 방향으로 물러난다(s1_alias.py, figs.py)
직접 움직여 보기물결과 샘플: 언제 둔갑하나크게 열기
직접 움직여 보기초당 24장 찍은 마차 바퀴크게 열기

ML에서: 자리 번호도 띄엄띄엄 측정한 것이다

트랜스포머에 자리를 알려 주는 사인 위치 벡터는 성분 둘을 한 묶음으로 삼아, 자리 번호 m에 따라 각도 mω만큼 돈 화살표의 가로·세로 자리를 넣는다. 자리 번호는 0, 1, 2, …의 정수뿐이므로, 이 화살표는 자리 하나마다 한 번씩 띄엄띄엄 측정하는 화살표다. 시간 대신 자리를 측정하는 칸이라는 점만 다르고, 위의 둔갑 계산이 그대로 통한다. 원래 논문(바스와니 팀, 2017)의 가장 빠른 묶음은 자리 하나에 ω = 1라디안(약 57°)을 돈다. 이보다 훨씬 빠르게 돌리면 무슨 일이 생기는지는 아래 문제 3에서 따진다.

문제 1. 55분마다 보는 시계

벽시계의 분침은 60분에 한 바퀴 도는데, 수업 중이라 시계를 자주 못 보고 (가) 55분마다 한 번씩 본다. 볼 때마다 분침은 지난번보다 어느 쪽으로 몇 분만큼 가 있는 것처럼 보이는가? (나) 65분마다 보면? (다) 30분마다 보면? 분침이 도는 방향을 시계만 보고 알아내려면 적어도 몇 분보다 자주 보아야 하는가?

숫자 없이 분침만 보이는 시계(처음 본 때 분침은 0분 자리)와, 55분·65분·30분마다 시계를 보는 때. 회색 눈금은 분침이 한 바퀴 도는 60분마다(problems_figs.py)
숫자 없이 분침만 보이는 시계(처음 본 때 분침은 0분 자리)와, 55분·65분·30분마다 시계를 보는 때. 회색 눈금은 분침이 한 바퀴 도는 60분마다(problems_figs.py)
이서연 S01
이서연

일단 (가)부터 볼게요. 55분이면 분침은 330°를 가서 11자리, 55분 자리에 있어요. 처음 본 12자리에서 보면 시계 반대 방향으로 5분 칸 물러선 자리라, 분침만 보면 5분 거꾸로 간 것과 구별이 안 돼요.

김민준 M01
김민준

(나)는 65분이면 390°, 한 바퀴하고 30°니까 5분 앞으로 간 것처럼 보이고. (다)는 30분이면 180°라 12자리에서 6자리야. 어, 앞으로 반 바퀴인지 뒤로 반 바퀴인지 둘 다 같은 자리네.

선생님 T02
선생님

그래요. 경계 근처를 확인해 볼까요? 29분마다 보면요?

김민준 M01
김민준

174°니까 앞으로 174°로 보여요. 31분이면 186°라 뒤로 174°로 보이고요.

선생님 T01
선생님

그럼 30분은 분침 한 바퀴 시간과 어떤 관계죠?

이서연 S07
이서연

절반이요. 30분보다 자주 보면 늘 실제 방향으로 보이니까, 한 바퀴 시간의 절반보다 자주 보아야 도는 방향을 알 수 있어요.

문제 2. 사인 물결은 방향을 기억한다

1초에 10번 측정한다. (가) 3 Hz, 7 Hz, 13 Hz 사인 물결 sin(2πft) 를 n = 0…5 에서 측정한 값을 비교하라. (나) 7 Hz 와 13 Hz 는 각각 어떤 느린 물결과 샘플이 같은가? (다) 같은 셋이 코사인 물결이면 (나)의 답이 어떻게 달라지는가? (위젯 1의 「문제 2 불러오기」는 7 Hz 사인을 1초에 10번 측정한다.)

3 Hz 사인 sin(2π·3t)와 1초에 10번 측정하는 시각 n = 0..5(problems_figs.py)
3 Hz 사인 sin(2π·3t)와 1초에 10번 측정하는 시각 n = 0..5(problems_figs.py)
김민준 M01
김민준

계산해 봤어요. 3 Hz는 0, 0.951, −0.588, −0.588, 0.951, 0이고 13 Hz도 똑같아요. 7 Hz는 7 − 10 = −3인데, 주파수에 음수는 뜻이 없으니 3 Hz랑 같겠죠.

선생님 T01
선생님

7 Hz 샘플도 3 Hz 샘플 옆에 써 볼래요?

김민준 M04
김민준

0, −0.951, 0.588, 0.588, −0.951, 0이에요. 부호가 다 반대예요. 3 Hz와 같지 않네요.

이서연 S01
이서연

부호만 다 뒤집혔으면… 네가 버린 −3이 뭔가 하는 것 같아.

선생님 T01
선생님

−3 Hz 사인은 3 Hz 사인과 어떤 관계죠?

이서연 S08
이서연

sin(−2π·3t) = −sin(2π·3t)요. 사인은 화살표의 세로 자리라서, 화살표가 거꾸로 돌면 세로 자리는 부호가 뒤집혀요. 7 Hz는 거꾸로 도는 3 Hz 화살표로 둔갑한 거예요.

김민준 M01
김민준

13 Hz는 13 − 10 = 3이라 같은 방향 3 Hz고. 바퀴가 거꾸로 도는 것도 이 음수였네.

선생님 T02
선생님

(다)는요?

이서연 S01
이서연

코사인은 가로 자리라 cos(−θ) = cos θ예요. 7 Hz와 13 Hz가 둘 다 3 Hz 코사인과 샘플이 같아요. 방향이 코사인에서는 지워지고 사인에서는 부호로 남아요.

김민준 M07
김민준

그럼 음수 주파수에는 「거꾸로 돈다」는 뜻이 있는 거네요. 절댓값만 적었으면 방향을 잃을 뻔했어요.

선생님 T01
선생님

위젯 1에서 문제 2 설정을 불러와, 7 Hz 사인의 샘플과 파란 점선이 어느 쪽으로 출렁이는지 보세요.

위젯 1 · 문제 2 설정
위젯에서 열기: 위젯 1 · 문제 2 설정

문제 3. 자리 하나에 5라디안 도는 묶음

사인 위치 벡터의 한 묶음이 자리 하나에 ω 라디안 돈다. (가) ω = 5 이면, 정수 자리 m = 0, 1, …, 5 에서 이 화살표와 같은 자리를 지나는 더 느린 화살표는 무엇인가? (나) ω = π 이면 화살표의 가로·세로 자리는 자리마다 어떻게 되는가? (다) 원래 논문의 가장 빠른 묶음이 ω = 1 인 것을 둔갑의 말로 평가하라.

자리 하나에 ω 라디안 도는 화살표의 자리 m = 0, 1. 왼쪽 ω = 5(286.5°), 오른쪽 ω = π(180°)(problems_figs.py)
자리 하나에 ω 라디안 도는 화살표의 자리 m = 0, 1. 왼쪽 ω = 5(286.5°), 오른쪽 ω = π(180°)(problems_figs.py)
김민준 M01
김민준

5라디안은 286.5°예요. 빠를수록 가까운 자리를 잘 가르니까, 1라디안보다 다섯 배 좋겠죠.

선생님 T01
선생님

분침을 55분마다 보던 문제를 떠올려 봐요. 한 번에 286.5° 도는 화살표는 자리마다 어떻게 보이죠?

김민준 M04
김민준

아, 문제 1(55분마다 보는 시계)의 330°처럼 이것도 360°에서 73.5° 모자라요. 5 − 2π = −1.283라디안이요. 거꾸로 도는 화살표와 같은 자리를 지나겠네요.

선생님 T01
선생님

거꾸로 1.283라디안씩 도는 화살표와 자리마다 각도를 비교해 볼래요?

김민준 M01
김민준

자리 0부터 5까지 각도가 0°, 286.5°, 213.0°, 139.4°, 65.9°, 352.4°로 둘이 똑같아요. 결국 자리 하나에 1.283라디안 도는 묶음을 하나 더 둔 것과 같아요. 빨라 보여도 새로 생긴 건 없어요.

이서연 S01
이서연

(나)는 π라디안이면 자리마다 반 바퀴라 각도가 0°, 180°, 0°, 180°…야. 가로 자리는 1, −1, 1, −1이고 세로 자리는 늘 0이야. 성분 둘 가운데 하나가 아무것도 안 담아. 문제 1에서 30분마다 본 시계처럼 방향도 못 가리고.

선생님 T13
선생님

그래요. 정수 자리에서 유용한 ω는 −π와 π 사이뿐이에요. 자리 하나를 한 번 측정하는 칸으로 보면, π라디안이 자리 번호 칸의 나이퀴스트 주파수예요. 1라디안은요?

김민준 M07
김민준

문제 1의 시계와 같은 계산이었네요. 자리 번호가 시각이고, 자리 한 칸이 55분 간격이에요. 1라디안은 π보다 작으니까 둔갑하지 않아요.

이서연 S08
이서연

가장 빠른 묶음을 π라디안 아래에 두고, 나머지는 거기서 느려지게 했으니 묶음마다 다른 정보를 담게 된 거네요.