샘플링: 칸 간격과 에일리어싱

앤티에일리어싱 필터: 측정하기 전에 빠른 물결을 걷어 낸다

샘플링 정리는 신호에 나이퀴스트 주파수보다 빠른 물결이 없어야 한다는 조건이 붙은 약속이다. 그런데 바퀴살 무늬, 녹음 속 쇳소리, 셔츠의 줄무늬처럼 세상의 신호에는 빠른 물결이 늘 조금씩 섞여 있다. 측정해 보니 1 Hz 물결이 생각보다 크다면, 그 가운데 얼마가 원래 1 Hz이고 얼마가 둔갑한 7 Hz인지 샘플에서 가려낼 수 있을까? 가려낼 수 없다면 언제 손을 써야 할까?

1 Hz 에 7 Hz 가 얹힌 신호

x(t) = cos(2π·1t) + 0.6 cos(2π·7t)를 1초에 8번 측정해 보자. 7 Hz 물결을 초당 8번 측정하면, 한 번에 315°씩 도는 7 Hz 화살표가 거꾸로 45°씩 도는 화살표와 같은 자리를 지나므로 1 Hz 코사인과 같은 값을 낸다. 샘플은 1.6, 1.131, 0, −1.131, −1.6, …으로 1.6 cos(2π·1t)의 샘플과 똑같다. 1 Hz 물결의 크기가 1이 아니라 1.6인 것처럼 보이고, 샘플에는 0.6이 어디서 왔는지 남아 있지 않다. 측정하고 나면 늦다.

측정하기 전에는 7 Hz와 1 Hz가 다른 물결이다. 측정하기 직전 1/8초 동안의 평균을 측정하는 값으로 삼는다고 하자. 카메라 센서의 한 칸도 셔터가 열린 동안 들어온 빛을 모두 모으니, 그 동안의 평균을 측정한다. 1/8초 동안 1 Hz 물결은 45°만 돌아 평균이 원래 값과 거의 같지만, 7 Hz 물결은 315°를 돌아 양수와 음수가 거의 지워진다. 길이 T 동안의 평균은 주파수 f인 물결의 크기를 sin(πfT)/(πfT)배로 바꾼다. 평균은 폭 T 인 상자로 자른 물결의 넓이를 T 로 나눈 것이라, 배율 sin(πfT)/(πfT) 는 폭 T 상자 펄스의 푸리에 변환(sinc)을 주파수 f 에서 읽어 상자의 넓이 T 로 나눈 값이다. T = 1/8초면 1 Hz는 0.9745배, 7 Hz는 0.1392배다. 샘플에 섞여 드는 7 Hz의 크기가 0.6에서 0.6 × 0.1392 = 0.0835로 준다. 같은 평균을 두 번 거치면 배율이 제곱이 되어 1 Hz는 0.9496배, 7 Hz는 0.0194배, 섞이는 크기는 0.0116이다.

왼쪽: 1/8 초 평균의 크기 배율 |H(f)|. 1 Hz 는 거의 그대로(0.974), 7 Hz 는 0.139 로 준다. 회색은 샘플링하면 둔갑하는 4 Hz 위. 오른쪽: 1 Hz + 0.6 × 7 Hz 를 그냥 샘플링하면(빨강) 크기 1.6 인 1 Hz 처럼 보이고, 1/8 초 평균한 뒤 샘플링하면(남색) 1 Hz 성분(초록)에 가까워진다. 평균이 만드는 1/16 초의 늦어짐이 남색 점에 그대로 있다(s3_filter.py, figs.py)
왼쪽: 1/8 초 평균의 크기 배율 |H(f)|. 1 Hz 는 거의 그대로(0.974), 7 Hz 는 0.139 로 준다. 회색은 샘플링하면 둔갑하는 4 Hz 위. 오른쪽: 1 Hz + 0.6 × 7 Hz 를 그냥 샘플링하면(빨강) 크기 1.6 인 1 Hz 처럼 보이고, 1/8 초 평균한 뒤 샘플링하면(남색) 1 Hz 성분(초록)에 가까워진다. 평균이 만드는 1/16 초의 늦어짐이 남색 점에 그대로 있다(s3_filter.py, figs.py)
H(f)=sin⁡(πf T)πf T,샘플링 전에 H 를 거치면 f 의 물결은 크기가 ∣H(f)∣ 배\textcolor{#4c5d80}{H}(\textcolor{#0078e1}{f}) = \frac{\sin(\pi \textcolor{#0078e1}{f}\,\textcolor{#a67a63}{T})}{\pi \textcolor{#0078e1}{f}\,\textcolor{#a67a63}{T}}, \qquad \text{샘플링 전에 } \textcolor{#4c5d80}{H} \text{ 를 거치면 } \textcolor{#0078e1}{f} \text{ 의 물결은 크기가 } |\textcolor{#4c5d80}{H}(\textcolor{#0078e1}{f})| \text{ 배}
H(f)필터의 크기 배율: 주파수 f 인 물결이 몇 배가 되어 나오나T평균을 내는 길이 (초)f물결의 주파수 (Hz)\begin{array}{ll} \textcolor{#4c5d80}{H}(\textcolor{#0078e1}{f}) & \text{필터의 크기 배율: 주파수 } f \text{ 인 물결이 몇 배가 되어 나오나} \\ \textcolor{#a67a63}{T} & \text{평균을 내는 길이 (초)} \\ \textcolor{#0078e1}{f} & \text{물결의 주파수 (Hz)} \end{array}

평균은 필터(filter, 어떤 주파수는 남기고 어떤 주파수는 걷어 내는 연산)의 하나다. 신호를 측정하기 전에 나이퀴스트 주파수 위의 물결을 걷어 내려고 두는 필터를 앤티에일리어싱 필터 (측정하기 전에 빠른 물결을 걷어 내는 필터 / anti-aliasing filter)라 한다. 가장 좋은 필터는 나이퀴스트 주파수 아래를 그대로 두고 위를 모두 지우는 것이지만, 그런 필터는 펄스 sinc처럼 꼬리가 끝없이 길어 실제로는 근사만 한다. 평균은 단순한 대신 1 Hz도 조금 깎고(0.9745배), 9 Hz(−0.1083배)나 12 Hz(−0.2122배)처럼 남기는 것도 있다. 어떤 필터를 쓸지는 무엇을 얼마나 깎아도 되는지를 보고 선택한다.

직접 움직여 보기샘플링 전에 거르기크게 열기
직접 움직여 보기셔터를 연 시간: 찍는 동안 평균하기크게 열기

게임의 슈퍼샘플링: 픽셀 안에서 여러 번 측정해 평균하기

게임에서 카메라를 멀리 있는 울타리나 철망 쪽으로 돌렸을 때, 있지도 않은 굵은 줄무늬가 화면에 어른거리는 것을 본 적이 있을지 모른다. 그래픽 설정에서 슈퍼샘플링 앤티에일리어싱(SSAA)을 켜면 그 줄무늬가 옅어진다. 이 설정이 하는 일이 방금 본 「측정하기 전에 평균하기」다. 시간 대신 화면 위의 자리를 측정하고, 1초에 8번 측정하는 대신 픽셀마다 한 번 측정한다고 바꿔 읽으면 된다.

화면은 픽셀마다 장면의 밝기를 하나씩 측정해서 칠한다. 가장 단순한 화면은 픽셀 가운데 한 점의 밝기만 측정한다. 멀리 있는 울타리가 픽셀 8칸에 살 7개꼴로 촘촘하다고 하고, 밝기를 cos(2π·(7/8)·x)(x는 픽셀 번호)로 두자. 픽셀 가운데만 측정하는 화면에서 이 울타리는 본문의 7 Hz 물결처럼 둔갑한다. 한 픽셀마다 315°씩 도는 물결이 거꾸로 45°씩 도는 물결과 같은 값을 내므로, 픽셀 값은 1, 0.707, 0, −0.707, −1, …로 8픽셀마다 한 번 반복하는 cos(2π·x/8)의 값과 똑같다. 멀리서 보면 균일한 회색이어야 할 울타리가 폭 8픽셀의 굵은 줄무늬로 그려진다.

슈퍼샘플링은 픽셀 하나 안에서 밝기를 여러 점 측정해서 평균한다. 화면보다 높은 해상도로 그린 뒤 줄이는 것도 한 방법이다. 픽셀 폭을 넷으로 나눠 칸마다 가운데 점을 측정하고 넷을 평균하면 울타리 물결의 크기가 0.1508배가 되어, 둔갑한 줄무늬의 크기가 1에서 0.15로 흐려진다. 장면에 진짜로 8픽셀마다 반복하는 줄무늬가 있었다면 같은 평균에서 0.9761배로 거의 그대로 남는다. 점이 둘이면 울타리는 0.1951배, 열여섯이면 0.1399배다. 점을 한없이 늘리면 픽셀 폭 동안의 평균에 다가가고, 그 배율은 평균의 크기 배율 식 H(f) = sin(πfT)/(πfT)에서 T를 칸 간격 하나로 둔 0.1392다. 1/8초 평균에서 7 Hz가 받은 배율과 같은 숫자다. 픽셀 가운데 한 점만 측정하는 화면이 셔터를 아주 짧게 연 카메라라면, 슈퍼샘플링은 픽셀 폭만큼 셔터를 연 카메라에 가깝다.

멀리 있는 울타리(픽셀 8칸에 살 7개)를 그리는 세 방법. 픽셀 가운데 한 점만 측정하면(빨강) 8픽셀마다 되풀이하는 굵은 줄무늬로 둔갑하고, 픽셀마다 네 점을 측정해 평균하면(남색) 둔갑한 줄무늬의 크기가 0.15로 준다. 숫자는 이 책의 장난감 설정이다(sources/sampling/s5_ssaa.py)
멀리 있는 울타리(픽셀 8칸에 살 7개)를 그리는 세 방법. 픽셀 가운데 한 점만 측정하면(빨강) 8픽셀마다 되풀이하는 굵은 줄무늬로 둔갑하고, 픽셀마다 네 점을 측정해 평균하면(남색) 둔갑한 줄무늬의 크기가 0.15로 준다. 숫자는 이 책의 장난감 설정이다(sources/sampling/s5_ssaa.py)

이 비유가 맞으려면 두 조건을 지켜야 한다. 첫째, 평균은 픽셀 값을 정하기 전에 장면에서 직접 해야 하는데, 픽셀 가운데 한 점으로 이미 측정한 값들을 나중에 평균하면 그 값들에 폭 8픽셀 줄무늬가 벌써 섞여 있어서, 진짜 8픽셀 줄무늬와 구별해 지울 수 없기 때문이다. 둘째, 점을 아무리 늘려도 둔갑한 울타리 줄무늬는 0.1392배 아래로 줄지 않는데, 픽셀 폭 평균이라는 필터가 7/8 주파수에서 그만큼은 남기기 때문이다. 점 넷은 그리는 계산이 네 배라는 뜻이기도 해서, 무엇을 얼마나 깎을지와 계산을 얼마나 쓸지를 함께 검토해 필터를 선택하게 된다.

ML에서: 최대 풀링에 필터를 끼우다

합성곱 신경망은 층을 지나며 그림의 가로세로를 반씩 줄인다. 두 칸에서 큰 값 하나를 선택하는 최대 풀링, 한 칸씩 건너뛰며 거는 스트라이드(커널을 옮기는 칸 수) 2 합성곱이 흔하다. 어느 쪽이든 두 칸에 하나만 남기므로, 칸 간격을 두 배로 벌려 다시 측정하는 샘플링이다. 리처드 장(Richard Zhang)은 2019년 국제 기계학습 학회(ICML)에 낸 「합성곱 신경망을 다시 평행이동 불변으로」에서, 이렇게 줄이는 방법들이 샘플링 정리를 무시한다고 짚었다. 그래서 입력을 조금만 밀어도 출력이 크게 바뀐다. 그는 최대 풀링을 「스트라이드 1로 최댓값 → 흐리게 하는 작은 필터 → 건너뛰기」로 나누어, 줄이기 직전에 필터를 끼웠다. 그 전에도 흐리게 한 뒤 줄이는 방법은 알려져 있었지만 정확도가 떨어진다고 여겨 잘 쓰지 않았는데, 그는 제자리에 끼우면 ImageNet 분류 정확도가 오히려 오른다고 보고했다. 한 칸 밀었을 때 두 방법의 출력이 얼마나 다른지는 아래 문제 9에서 직접 계산한다.

문제 7. 셔터를 오래 열면 바퀴살이 흐려진다

바퀴살 12개, 1초에 1.9바퀴 도는 바퀴를 1초에 24장 찍는다. 한 장을 찍는 동안 셔터가 열려 있는 시간이 (가) 1/1000 초, (나) 1/48 초, (다) 1/24 초(장과 장 사이 내내)일 때, 거꾸로 도는 바퀴살 무늬는 얼마나 또렷하게 찍히는가? 1초에 0.5바퀴 도는 바퀴를 1/24 초 셔터로 찍으면? (위젯 5의 문제 7 단추로 세 셔터를 비교해 보자.)

바퀴살 12개, 1초에 1.9바퀴 도는 바퀴와, 1초에 24장 찍을 때 장마다 셔터가 열린 시간 1/1000 초, 1/48 초, 1/24 초(problems_figs.py)
바퀴살 12개, 1초에 1.9바퀴 도는 바퀴와, 1초에 24장 찍을 때 장마다 셔터가 열린 시간 1/1000 초, 1/48 초, 1/24 초(problems_figs.py)
이서연 S01
이서연

셔터 시간은 사진이 밝냐 어둡냐를 정하는 거잖아요. 바퀴가 도는 방향이랑은 상관없으니까 셋 다 똑같이 거꾸로 도는 무늬로 찍힐 것 같아요.

선생님 T01
선생님

셔터가 열려 있는 1/24초 동안 바퀴살 무늬는 몇 번 제자리로 돌아오죠?

김민준 M05
김민준

무늬가 1초에 22.8번이니까 1/24초면 0.95번이요. 한 장 안에 무늬가 거의 한 바퀴를 다 지나가요.

이서연 S04
이서연

그럼 살이 모든 자리를 다 지나가서 사진에는 잿빛 원판만 남겠네요. 셔터 시간이 밝기만 정하는 게 아니었어요.

김민준 M01
김민준

셔터가 열린 동안 빛을 모으는 건 그 시간 동안 평균을 내는 거잖아. 그럼 길이 T 평균의 배율 sin(πfT)/(πfT)을 쓸 수 있겠다.

선생님 T01
선생님

f에는 무엇을 넣어야 할까요? 바퀴가 도는 1.9일까요?

김민준 M03
김민준

음, 바퀴는 1.9바퀴 돌아도 살이 12개라 무늬는 열두 배 자주 제자리로 오니까… 무늬가 바뀌는 22.8이요. 넣으면 1/1000초는 0.999, 1/48초는 0.668, 1/24초는 0.052예요.

이서연 S01
이서연

1/24초 셔터면 거꾸로 도는 무늬가 원래의 5%로 흐려지네.

선생님 T13
선생님

그래요. 같은 셔터로 느린 바퀴를 찍으면요?

이서연 S08
이서연

0.5바퀴면 무늬가 1초에 6번이라 0.900이에요. 느린 바퀴는 거의 또렷하고 빠른 바퀴만 흐려져요. 셔터를 연 시간이 측정하기 전의 평균 필터였네요.

김민준 M07
김민준

자전거 바퀴살도 빨리 돌면 눈에 뿌옇게 보이잖아. 눈도 잠깐 동안 들어온 빛을 모아서 보니까, 빠른 살은 흐리게, 천천히 가는 살은 또렷하게 보이는 거였네.

선생님 T01
선생님

위젯 5에서 문제 7 설정을 불러와, 셔터 1/24 초에서 바퀴살 무늬가 얼마나 흐려지는지 1/1000 초와 비교해 보세요.

위젯 5 · 문제 7 설정
위젯에서 열기: 위젯 5 · 문제 7 설정

문제 8. 측정하고 나서 평균하면

1 Hz + 0.6 × 7 Hz 신호를 1초에 8번 측정한 뒤, 이웃한 두 샘플의 평균을 새 샘플로 삼는다. (가) 1 Hz 성분과 7 Hz 성분은 각각 몇 배가 되는가? (나) 측정하기 전에 1/8초 평균을 낸 경우와 비교하라. (다) 「측정하기 전에」라는 조건을 빼고 「측정하고 나서 필터링하면 된다」고 하면 무엇이 틀리는가?

cos(2π·1t) + 0.6 cos(2π·7t)를 초당 8번 측정한 값과, 평균을 낼 이웃한 두 샘플의 묶음(problems_figs.py)
cos(2π·1t) + 0.6 cos(2π·7t)를 초당 8번 측정한 값과, 평균을 낼 이웃한 두 샘플의 묶음(problems_figs.py)
이서연 S01
이서연

평균은 선형 연산이고 측정하는 것도 선형이니까, 순서를 바꿔도 같지 않을까요? 그러면 1 Hz는 0.9745배, 7 Hz는 0.1392배요.

선생님 T01
선생님

측정한 뒤의 샘플에서 7 Hz 성분과 1 Hz 성분을 따로 볼 수 있어요?

이서연 S04
이서연

아, 샘플이 1.6 cos(2π·1t)랑 똑같았죠. 샘플만 보면 7 Hz가 따로 없어요. 그럼 이웃 평균이 두 성분에 하는 일도 같을 수밖에 없네요. 선형인 건 맞는데, 측정하는 순간 둘이 같은 이름을 달아 버려요.

김민준 M01
김민준

계산해 보면 1/8초 간격의 이웃 평균은 1 Hz 물결의 크기를 cos(π/8) = 0.9239배로 줄여.

선생님 T01
선생님

7 Hz 성분은요?

김민준 M01
김민준

샘플에서는 1 Hz와 같으니까 같은 0.9239배요. 둔갑해 들어온 0.6도 같이 0.9239배가 될 뿐 원래 1 Hz 성분과 분리되지 않아요.

이서연 S06
이서연

측정하기 전 평균은 1 Hz를 0.9745배, 7 Hz를 0.1392배로 다르게 깎았는데.

선생님 T14
선생님

그러니 (다)는 어떻게 말할 수 있죠?

이서연 S07
이서연

측정하기 전에는 두 성분이 주파수가 달라서 필터가 다르게 대할 수 있는데, 측정하고 나면 같은 이름을 달아서 어떤 계산도 둘을 다르게 대할 수 없어요. 측정하고 나서 하는 필터링은 이미 둔갑한 물결 앞에서는 소용이 없어요.

김민준 M02
김민준

게임 화면도 그렇겠네요. 픽셀마다 가운데 한 점만 측정해서 울타리가 굵은 줄무늬로 둔갑한 화면을 다 그린 뒤에 흐리게 하면요?

선생님 T13
선생님

이웃한 두 픽셀을 평균한다고 해 봐요. 둔갑한 줄무늬는 몇 배가 될까요?

김민준 M01
김민준

이웃끼리 섞이니까 줄무늬가 꽤 옅어지지 않을까요?

선생님 T01
선생님

그 줄무늬가 픽셀 값에서는 무엇과 똑같았죠?

김민준 M06
김민준

8픽셀마다 반복하는 진짜 줄무늬요. 그럼 진짜 줄무늬와 똑같이 cos(π/8) = 0.9239배밖에 안 줄어요. 슈퍼샘플링에서는 0.15였으니까, 픽셀 값을 정하기 전에 평균하면 0.15, 다 그린 뒤에 흐리면 0.92네요.

선생님 T01
선생님

서부 영화에서 거꾸로 돌던 마차 바퀴로 돌아가 볼까요? 필름에 다 찍힌 뒤에, 거꾸로 도는 바퀴를 계산으로 바로잡을 수 있을까요?

김민준 M09
김민준

음, 못 해요. 필름 위에서는 빨리 도는 바퀴와 천천히 거꾸로 도는 바퀴가 같은 장면이라, 찍는 순간 빠른 무늬가 느린 무늬로 둔갑해 버리면 어떤 계산도 둘을 못 갈라요. 막을 기회는 셔터가 열려 있는 동안뿐이었네요.

문제 9. 한 칸 밀면 바뀌는 최대 풀링

한 줄짜리 특징 지도 [0, 0, 1, 1, 0, 0, 1, 1, …] (네 칸마다 반복, 끝은 처음과 이어진다)를 두 칸씩 묶어 줄인다. 입력을 한 칸 밀어 [1, 0, 0, 1, 1, 0, 0, 1, …] 로도 넣는다. (가) 최대 풀링의 출력과 그 평균은 두 입력에서 각각 얼마인가? (나) 「스트라이드 1로 이웃 두 칸 최댓값 → [1, 4, 6, 4, 1]/16 으로 흐리기 → 한 칸 건너 고르기」의 출력과 평균은? (다) 끝에 출력을 모두 평균해 분류하는 신경망이라면 어느 쪽이 밀기에 덜 흔들리는가?

네 칸마다 되풀이되는 한 줄짜리 특징 지도와 그것을 한 칸 민 것. 밑줄은 두 칸씩 묶어 줄이는 자리(problems_figs.py)
네 칸마다 되풀이되는 한 줄짜리 특징 지도와 그것을 한 칸 민 것. 밑줄은 두 칸씩 묶어 줄이는 자리(problems_figs.py)
김민준 M01
김민준

짜 봤어요. 최대 풀링은 밀기 전에 [0, 1, 0, 1, …], 민 뒤에 [1, 1, 1, 1, …]이에요. 평균이 0.5에서 1.0으로 두 배가 됐어요. 입력은 같은 무늬를 한 칸 민 것뿐인데요.

선생님 T01
선생님

0, 0, 1, 1 무늬는 칸당 몇 번 출렁이죠? 두 칸씩 묶은 뒤에는요?

김민준 M05
김민준

네 칸에 한 번이니까 칸당 1/4번이에요. 두 칸을 한 칸으로 묶으면 새 칸당 1/2번, 새 칸의 나이퀴스트 주파수와 같네요.

이서연 S01
이서연

나이퀴스트 주파수와 같으면… 문제 4(하루에 두 번 측정하는 기온)랑 같은 처지야.

김민준 M07
김민준

아, 그럼 어디서 재느냐에 따라 출렁임이 다 보이기도 하고 하나도 안 보이기도 해요.

이서연 S01
이서연

(나)는 밀기 전 [0.625, 0.875, 0.625, 0.875, …], 민 뒤 [0.75, 0.75, …]야. 평균은 둘 다 0.75로 같아. 출렁임의 크기도 0.25로 줄었고.

선생님 T13
선생님

출렁임이 아예 없어지진 않았네요. 흐리기를 [1, 4, 6, 4, 1]로 해도 나이퀴스트 주파수의 물결이 0이 되지는 않거든요. 그래도 (다)는요?

김민준 M01
김민준

끝에서 평균을 내면 출렁임은 지워지고 평균만 남겠죠. 최대 풀링은 그 평균 자체가 0.5에서 1.0으로 바뀌고, 필터를 끼운 쪽은 평균이 두 입력 모두 0.75예요. 분류 점수가 한 칸 밀기에 흔들리지 않게 되는 거네요.

이서연 S08
이서연

문제 7(셔터를 오래 열면 바퀴살이 흐려진다)이랑 같은 구조야. 최댓값을 선택하는 건 셔터를 아주 짧게 연 거고, 흐리게 하는 게 셔터를 길게 연 거고.