혼동하기 쉬운 점과 요약
토론 1. 멀어지면 그림 속 무늬가 바뀌나
하이브리드 그림에서 물러나면 서연이 사라지고 민준만 남는다. 물러나는 동안 바뀐 것은 그림인가, 보는 쪽인가?

하이브리드 그림에서 물러나면 서연 학생이 사라지고 민준 학생만 남았어요. 그동안 무엇이 바뀐 걸까요?

멀리서 보면 다른 그림이 보이니까… 그림에 담긴 무늬가 멀리서는 다르게 바뀌어 보이는 것 아닐까요? 가는 결이 굵은 무늬로 뭉쳐진다든가요.

그림을 인쇄한 종이는 그대로예요. 그럼 종이 위 한 주기 2mm 줄무늬는 3m에서도 2mm예요?

종이는 안 바뀌니까 2mm 그대로죠. 바뀌는 건 그 2mm가 눈에 차지하는 각이에요. 3.44m에서 2분이 되니까 거기서부터 눈이 줄을 구분하지 못하고요.

그럼 무늬는 그대로인데, 눈이 구분할 수 있는 가장 가는 무늬가 그림 쪽 c/i 로 내려온 거네요. 거리를 두 배로 하면 모든 무늬가 눈에 차지하는 각이 절반이 되니까…

그 말을 공간 주파수로 하면요?

물러날수록 눈이 그림에 더 큰 블러를 거는 것과 같아요. 블러가 높은 공간 주파수부터 지우듯, 거리가 제 그림의 24~128 c/i 결부터 지우고 10 c/i 아래의 민준 그림은 오래 남기는 거예요. 무늬가 바뀐 게 아니라 눈의 한계가 그림 쪽으로 옮겨 온 거고요.

그러니까 14.3m를 넘으면 서연이 결은 종이에 그대로 있는데도 아무 눈에도 안 걸리는 거구나.

쇠라의 점묘화도 그래. 가까이서는 물감 점이 하나하나 보이는데, 물러나면 점은 안 보이고 색면만 남잖아. 점은 캔버스에 그대로 있고.
토론 2. 주파수 축으로 바꾸면 수가 줄어드나
문제 4의 화음 녹음은 주파수 축에서 크기가 0이 아닌 칸이 셋뿐이었다. 주파수 축으로 바꾸면 녹음을 적는 수가 8,000개에서 3개로 줄어든 것인가?

문제 4의 화음 녹음은 주파수 축으로 바꾸니 크기가 0이 아닌 칸이 셋뿐이었어요. 8,000개의 수가 3개로 줄어든 걸까요?

그렇게 보여요. 262, 330, 392 Hz 세 칸만 저장하면 되잖아요. 축만 바꿨는데 수가 확 줄었어요.

그 세 칸만 들고 다시 시간 축으로 돌아가려면, 무엇을 더 알아야 할까요?

세 칸이 4,001칸 가운데 몇 번째였는지요. 그리고… 나머지 칸이 0이라는 것도요. 그걸 모르면 되돌릴 수가 없네요.

칸마다 크기만 있는 것도 아니야. 칸 하나에 코사인과 사인 두 계수, 그러니까 크기와 소리가 시작하는 자리(위상)가 같이 들어 있어. 맨 앞과 맨 끝 칸은 하나씩이라 4,001칸에 수가 꼭 8,000개야.

그럼 수의 개수는 그대로였네요. 줄어든 게 아니라, 8,000개 가운데 0이 아닌 게 몇 개 안 되게 모인 거고요.

제곱합은 어떨까요?

DCT도 축만 돌린 거라 수의 제곱합이 그대로였죠. 여기도 그대로예요. 정보가 빠진 건 하나도 없고, 0인 칸이 많아져서 「몇 번째 칸이 얼마」만 적으면 되니 적기가 쉬워진 거예요.

출석부를 결석한 사람 명단으로 바꿔 적는 거랑 같네요. 줄 수는 확 줄지만, 명단에 없는 사람은 다 출석이라는 약속이 함께 있어야 원래 출석부로 되돌릴 수 있어요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 멀어지면 그림 속 무늬가 바뀐다고 봄 | 토론 1 | 무늬는 그대로이고 눈에 차지하는 각만 줄어 눈이 구분할 수 있는 한계가 그림 쪽 c/i 로 낮아진다. 한 주기 2mm 줄무늬는 3.44m에서 회색이 된다 |
| 흐린 그림과 결 그림의 파워가 원래 파워를 나눠 가진다고 봄 | 2 | 블러는 가운데 굵기의 무늬를 양쪽에 반씩 나눠 둔다. 폭 2픽셀 블러면 86.9% + 7.6% = 94.5%. 무늬마다 1배 아니면 0배로 자르면 100%가 된다 |
| 제곱 오차가 작은 답이 더 닮은 그림이라고 봄 | 3 | 제곱 오차는 높은 공간 주파수 성분(결)을 지운 흐린 그림에 너그럽다. 자리를 확신하지 못하면 여러 답의 평균(흐린 그림)이 기대 오차를 절반으로 줄인다 |
| 주파수 축으로 바꾸면 수가 줄어든다고 봄 | 토론 2 | 수의 개수와 제곱합은 그대로다. 0인 칸이 많아져 적기 쉬워질 뿐이다 |
| 한 축에서 단순한 것은 다른 축에서도 단순하다고 봄 | 5 | 한 칸에 집중된 줄은 계수 여덟 개에 분산되고, 한결같은 줄은 계수 하나에 집중된다 |
| 데이터에서 배운 축은 코사인 축과 전혀 다를 것이라고 봄 | 6 | 자리를 옮겨도 통계가 같으면 주성분 축은 물결무늬다. 등장인물 그림 조각에서 코사인 크기 0.95~1.00 |
| 칸 수를 16분의 1로 줄이면 파워도 그만큼 잃는다고 봄 | 7 | 칸 수를 차지하는 것은 높은 공간 주파수의 무늬다. 옥타브마다 파워가 같으면 두 옥타브를 잃어도 18% |
| 파워가 f⁻² 로 줄면 높은 공간 주파수 쪽은 거의 비었다고 봄 | 8 | 2차원에서는 고리의 넓이가 f 로 늘어 옥타브마다 파워가 같다. 1차원에서만 옥타브마다 절반 |
| 제곱 오차로 줄인 압축이 모든 무늬를 균등하게 줄인다고 봄 | 9 | 파워가 큰 낮은 공간 주파수의 무늬부터 남긴다. 주성분 8개: 가장 굵은 구간 100%, 가장 가는 구간 0.6% |
| 피라미드는 블러를 잘 선택해야 되살아난다고 봄 | 11 | 같은 블러로 빼고 더하므로 어떤 블러든 정확히 되살아난다 |
| 잃은 파워가 작으니 위 대역을 채우기는 쉽다고 봄 | 12 | 맨 위 대역(가장 높은 공간 주파수)은 입력에 없는 세부다. 여러 가능성 가운데 하나를 선택해 그려야 하고, 제곱 오차로 배우면 흐려진다 |
요약
VAE 로 되살린 얼굴이 누구인지 알아볼 만한데도 흐렸던 것은 높은 공간 주파수의 가는 무늬를 잃었기 때문이다. 그림을 칸 대신 무늬의 굵기(공간 주파수)로 다시 적으면 파워가 낮은 공간 주파수에 몰려 있어서, 제곱 오차로 수를 줄이거나 배우는 모델은 파워는 작지만 선명함을 다 가진 가는 무늬부터 버린다. 블러는 그림을 실눈으로 본 흐린 그림과 돋보기로 본 결 그림으로 나눈다. 무늬가 그림 한 폭에 반복되는 수가 공간 주파수(c/i)이고, 블러는 공간 주파수가 높은 무늬일수록 많이 줄인다. 그림을 칸마다의 밝기 대신 코사인 무늬마다의 계수로 다시 적는 것이 푸리에 변환(여기서는 DCT)이다. 수의 개수도 제곱합도 그대로라 정보는 빠지지 않지만, 축을 바꾸면 파워 스펙트럼 때문에 파워가 몇 안 되는 계수에 집중된다. 그림의 파워는 공간 주파수의 대략 −2제곱(등장인물 그림 −2.24, 얼굴 사진 −2.86)으로 줄고, 칸을 섞은 그림이나 화이트 노이즈는 평평하다. 2차원에서 f⁻² 는 옥타브마다 같은 파워다. 제곱 오차로 수를 줄이는 압축은 이 내리막 때문에 낮은 공간 주파수의 무늬부터 남겨 흐린 그림을 낸다. 라플라시안 피라미드는 그림을 대역(공간 주파수의 한 구간)마다 자리와 함께 나누고, 칸 수 4/3배로 정확히 되살린다.
flowchart LR A["흐린 그림 + 결 그림<br/>실눈과 돋보기"] -->|"무늬가 줄어드는 배율"| B["공간 주파수<br/>그림 한 폭에 든 무늬 수"] B -->|"무늬마다 정확히 자르려면"| C["푸리에 변환<br/>칸 N개 ↔ 계수 N개"] C -->|"왜 몇 계수에 몰리나"| D["파워 스펙트럼<br/>P(f) ∝ f^(−γ), γ ≈ 2"] D -->|"제곱 오차로 줄이면"| E["낮은 주파수부터 남김<br/>= 흐린 그림"] C -->|"자리도 함께 가지려면"| F["대역<br/>라플라시안 피라미드"]
정리 연습문제
물음. 칸 64개짜리 그림 조각을 푸리에 변환(DCT)으로 코사인 무늬마다의 계수로 바꿨다. 맞는 말은?
- [ ] 계수가 칸보다 적어져 정보가 조금 빠진다 〔틀림: 수의 개수도 제곱합도 그대로라 빠지는 정보가 없다.〕
- [x] 계수도 64개이고 제곱합도 같다. 0에 가까운 계수가 많아져 적기 쉬워질 뿐이다 〔맞음: 축만 바꿨다. 그림의 파워가 몇 안 되는 계수에 집중되어 나머지가 작아진다.〕
- [ ] 어떤 그림이든 파워가 계수 몇 개에 집중한다 〔틀림: 칸을 섞은 그림이나 화이트 노이즈는 파워 스펙트럼이 평평해 계수에 균등하게 분산된다.〕
물음. 8칸 줄에서 한 칸만 밝고 나머지는 모두 0이다. 이 줄을 코사인 무늬 여덟 개의 계수로 바꾸면?
- [ ] 픽셀 축에서 단순하니 계수 하나에 집중된다 〔틀림: 한 칸에 집중된 줄을 만들려면 여러 무늬를 겹쳐야 한다. 한 축에서 단순한 것이 다른 축에서도 단순하지는 않다.〕
- [ ] 계수가 모두 0이 된다 〔틀림: 바꿔도 제곱합은 그대로라, 밝은 칸이 있으면 계수가 모두 0일 수 없다.〕
- [x] 여덟 계수에 두루 분산된다 〔맞음: 픽셀 축에서 한 칸에 집중된 것은 주파수 축에서 분산되고, 거꾸로 한결같은 줄은 계수 하나에 집중된다.〕
물음. 2차원 그림의 파워가 공간 주파수의 −2제곱으로 줄어든다. 공간 주파수가 두 배가 되는 구간(옥타브)마다 담긴 파워는 어떤가?
- [ ] 옥타브마다 4분의 1로 줄어, 가는 무늬의 옥타브는 거의 비어 있다 〔틀림: 2차원에서는 같은 공간 주파수의 고리가 주파수에 비례해 넓어진다. 옥타브가 올라갈 때 늘어난 넓이가 줄어든 파워를 채운다.〕
- [ ] 옥타브마다 절반으로 줄어든다 〔틀림: 옥타브마다 절반이 되는 것은 1차원 신호일 때다.〕
- [x] 옥타브마다 같다 〔맞음: 그래서 열한 옥타브쯤 되는 사진의 칸 수를 16분의 1로 줄여 가는 무늬 두 옥타브를 잃어도, 잃는 파워는 18%쯤이다.〕
물음. 그림을 몇 개의 수로 줄였다가 되살리는 압축을 제곱 오차가 가장 작게 만들었다. 되살린 그림은 어떤가?
- [x] 낮은 공간 주파수의 굵은 무늬부터 남아 흐린 그림이 된다 〔맞음: 그림의 파워가 낮은 공간 주파수에 집중되어 있어, 제곱 오차는 굵은 무늬를 먼저 지킨다.〕
- [ ] 모든 굵기의 무늬를 균등하게 조금씩 잃는다 〔틀림: 제곱 오차는 파워가 큰 성분부터 남겨야 줄어든다. 무늬마다 잃는 비율이 다르다.〕
- [ ] 칸 수를 많이 차지하는 가는 무늬부터 남아 윤곽만 보인다 〔틀림: 가는 무늬는 칸 수를 많이 차지해도 파워가 약하다. 제곱 오차로 줄이면 가는 무늬가 먼저 빠진다.〕
물음. 라플라시안 피라미드는 그림을 흐리게 줄인 그림과, 원래 그림에서 흐린 그림을 뺀 대역 그림들로 나눈다. 아무 블러로나 만들어도 원래 그림이 되살아나는가?
- [ ] 블러를 잘 선택해야 되살아난다 〔틀림: 나눌 때 뺀 흐린 그림을 되살릴 때 그대로 더한다. 블러가 무엇이든 빼고 더한 것이 상쇄된다.〕
- [x] 되살아난다. 같은 블러로 빼고 더하기 때문이다 〔맞음: 칸 수는 원래의 4/3배로 늘지만, 대역마다 자리와 함께 나눠 두고도 원래 그림을 잃지 않는다.〕
- [ ] 칸 수가 원래보다 늘었으니 되살릴 수 없다 〔틀림: 칸이 는 것은 대역마다 따로 적었기 때문이다. 칸이 늘었다고 잃는 것은 없다.〕
막힌 곳
이제 그림을 무늬의 굵기로 나눠 볼 수 있다. 구도는 낮은 공간 주파수에, 결은 높은 공간 주파수에 있고, 그림의 파워는 낮은 공간 주파수에 집중되어 있다. 대역마다 그림 한 장씩을 자리와 함께 떼어 낼 수도 있다.