혼동하기 쉬운 점과 요약
토론 1. 팽창 간격을 크게만 늘리면 더 멀리 보나
문제 8 (나)에서 간격 1, 2, 4로 세 층을 쌓으면 수용 영역이 15칸이었다. 간격을 1, 4, 16으로 더 빨리 키우면 같은 가중치로 더 넓게 보는가?

문제 8에서 간격 1, 2, 4로 세 층을 쌓으니 수용 영역이 15칸이었어요. 간격을 1, 4, 16으로 더 빨리 키우면 어떨까요?

같은 식으로 1 + 2(1 + 4 + 16) = 43칸이요. 가중치는 그대로인데 세 배 가까이 넓어지네요. 간격은 크게 잡을수록 이득이겠어요.

43칸 가운데 출력에 닿는 칸이 몇 개인지 세어 볼까요? 층마다 커널이 선택하는 자리는 −간격, 0, +간격 셋이에요.

세 층에서 하나씩 고르니까 3 × 3 × 3 = 27가지 자리요. 하나도 안 겹쳐도 27칸이 최대네요. 43칸 가운데 16칸은 남아요.

어느 칸이 빠지는지 보자. 앞의 두 층으로 갈 수 있는 자리는 −1, 0, 1에 −4, 0, 4를 더한 거니까… −5, −4, −3, −1, 0, 1, 3, 4, 5. 2가 없어.

바로 옆 둘째 칸을 못 보는 거예요? 21칸 밖까지 닿는데 두 칸 옆은 구멍이라니. 간격만 키운다고 되는 게 아니었네요.

1, 2, 4는 왜 구멍이 없었을까요?

음, 앞의 두 층이 −3부터 3까지 7칸을 빈틈없이 메우고, 다음 간격 4가 그 7칸보다 작으니까 이어 붙여도 빈칸이 안 생겨요. 다음 간격이 앞에서 메운 칸 수보다 크면 그 사이가 빠지고요. 1, 4는 앞이 3칸뿐인데 간격이 4라 2가 빠졌어요.

그럼 1, 3, 9는요? 앞이 −1부터 1까지 3칸이고 다음 간격이 3이니 딱 맞고, 그다음엔 −4부터 4까지 9칸에 간격 9니까 또 딱 맞네요. 27칸이 하나도 안 빠지고 다 닿아요.

2진법이 1, 2, 4, 8로 모든 수를 빈틈없이 만드는 거랑 같네. 커널이 −1, 0, 1 세 가지라 3진법처럼 1, 3, 9까지 키워도 되고. 그보다 빨리 키우면 못 만드는 수가 생겨.

그래요. 수용 영역의 넓이만 세지 말고 그 안이 빈틈없이 메워지는지도 봐야 해요.
토론 2. 파라미터가 적으면 계산할 값도 적나
Stable Diffusion 1.x 의 디노이징 신경망 첫 층은 파라미터가 11,840개뿐이다. 이 층이 계산해 내놓는 값도 그만큼 적은가?

문제 12에서 본 Stable Diffusion 1.x 첫 층은 채널 4개를 받아 320개를 내놓는 3 × 3 합성곱이고, 파라미터가 11,840개뿐이었어요. 이 층이 계산해 내놓는 값도 그만큼 적을까요?

파라미터가 1만 개 정도면 내놓는 값도 그 정도 아닐까요? 전부 잇는 층의 214억 개에 비하면 아주 가벼운 층이잖아요.

출력 그림의 크기부터 적어 봐요. 가로세로와 채널 수요.

64 × 64칸에 칸마다 채널 320개니까 64 × 64 × 320 = 1,310,720개요. 입력은 64 × 64 × 4 = 16,384개였고요.

파라미터는 11,840개인데 내놓는 값은 131만 개네요. 입력의 80배예요. 파라미터 수와 내놓는 값의 수는 서로 다른 거였어요.

왜 그렇게 갈릴까요? 그 131만 개 하나하나를 계산할 때 어느 파라미터를 쓰죠?

같은 출력 채널이면 모든 칸이 같은 커널과 바이어스, 37개를 써요. 파라미터는 커널 크기와 채널 수로 정해지고, 내놓는 값은 거기에 칸 수 4,096을 곱한 만큼 생기네요. 곱셈도 값 하나마다 36번씩이라 4,700만 번이 넘고요.

레시피 한 장으로 100인분을 하는 거랑 같네요. 레시피 글자 수는 그대로인데, 냄비와 재료는 100인분만큼 필요하잖아요. 합성곱 층은 파라미터는 가벼워도 메모리와 계산은 그림 크기를 따라 커져요.
혼동하기 쉬운 점
| 혼동하기 쉬운 생각 | 나온 문제 | 바로잡는 법 |
|---|---|---|
| 평균을 내도 갑자기 바뀐 곳이 그대로 보인다고 봄 | 1 | 합이 1인 커널은 경계를 커널 폭만큼 비탈로 흐린다. 바뀐 곳을 찾으려면 합이 0인 차이 커널을 쓴다 |
| 수학의 합성곱과 신경망의 합성곱이 같다고 봄 | 2 | 수학은 커널을 뒤집어 건다(x[i − j]). 신경망 라이브러리는 뒤집지 않는다(교차 상관). 좌우가 같은 커널만 결과가 같다 |
| 디노이징 커널 하나를 모든 노이즈 레벨에 씀 | 3 | 노이즈가 클수록 넓고 합이 작은 커널이 맞다. 다른 수준의 커널은 아무것도 안 하느니만 못할 수 있다. 신경망은 노이즈 레벨을 알아야 한다 |
| 칸마다 따로 배우는 방식(검수원 20명)이 늘 더 꼼꼼하다고 봄 | 4 | 자리마다 규칙이 같다면 공유한 쪽이 같은 데이터로 자리 수만큼 더 많이 배운다 |
| 이웃만 보면 「옮기면 옮겨진다」가 저절로 생긴다고 봄 | 5 | 「옮기면 옮겨진다」는 같은 커널을 나눠 쓰는 데서 온다. 자리마다 다른 커널이면 깨진다 |
| 공유한 층의 파라미터에서 바이어스를 빼먹음 | 6, 11 | 바이어스를 단위마다 두는지 채널마다 두는지 확인하고 더한다 |
| 수용 영역 안의 칸이 모두 비슷하게 중요하다고 봄 | 7, 9 | 이론상 폭은 층 수에 비례하지만 실제로 기대는 폭은 층 수의 제곱근에 비례한다 |
| 다채널 층의 가중치를 셀 때 채널 수를 한 번만 곱함 | 8 | 커널 한 칸이 입력 채널 하나와 출력 채널 하나를 잇는다. k² × Cin × Cout |
| 팽창 간격을 크게만 늘리면 된다고 봄 | 토론 1 | 간격이 너무 빨리 커지면 수용 영역 안에 아무도 보지 않는 칸이 생긴다 |
| 1 × 1 합성곱은 이웃을 안 보니 유용하지 않다고 봄 | 11 | 칸마다 같은 MLP 층이다. 채널끼리 섞는다 |
| 입출력 채널을 맞바꾸면 파라미터도 같다고 봄 | 12 | 가중치는 같지만 바이어스는 출력 채널 수만큼이다 |
| 파라미터가 적으면 계산할 값도 적다고 봄 | 토론 2 | 합성곱 출력은 칸마다 채널 수만큼 값이 있다. 첫 층 출력이 입력의 80배다 |
요약
얼굴 사진을 되살릴 때 속을 열지 않고 빌려 쓴 「이웃한 칸들을 묶어 읽는 층」도, 손으로 고른 곧은 획 필터도 이웃에 비율을 곱해 더하는 합성곱이었고, 곱하는 비율은 사람이 정하지 않아도 데이터에서 배울 수 있다. 합성곱은 MLP 를 이웃만 보고 모든 자리에서 같은 가중치를 쓰도록 묶은 것이라서, 가중치 수는 그림 크기와 상관없어지고 왼쪽에서만 배운 막대를 오른쪽에서도 알아보듯 한 자리에서 배운 것이 옮긴 자리에서도 통한다. 이웃에 같은 비율을 곱해 더하는 계산이 합성곱이고, 곱하는 비율의 묶음이 커널이다. 그림을 흐리게 하던 블러도 종 모양 커널의 합성곱이었고, 커널을 바꾸면 선택하는 대역과 방향이 바뀐다. 이웃 평균 [¼, ½, ¼]은 공간 주파수가 낮은 굵은 무늬를 남기고, [−1, 2, −1]은 가장 높은 가는 무늬를 남기며, 윤곽을 찾거나 노이즈를 걷어 내는 커널도 비율 몇 개의 차이다. 커널을 가중치로 두면 학습으로 정할 수 있다. 모든 자리가 같은 커널을 쓰는 가중치 공유 덕분에 파라미터 수는 그림 크기와 상관없어지고, 입력을 옮기면 출력도 그만큼 옮겨져 한 자리에서 배운 것을 다른 자리에서도 쓴다. 커널을 층층이 쌓으면 출력 한 칸이 보는 수용 영역은 층 수에 비례해 넓어지지만, 실제로 기대는 폭은 층 수의 제곱근으로만 자란다. 칸마다 수가 여러 개면 채널로 다루며, 합성곱 층은 칸마다 이웃의 모든 채널 값을 펴서 같은 행렬을 곱하는, 이웃만 보는 MLP다.
flowchart LR K["블러<br/>종 모양 비율로 굵은 대역을 고른다"] -->|"비율을 배우면"| C A["MLP<br/>출력 칸마다 입력 전부에 따로 가중치"] --> B["이웃만 잇기<br/>k × k 이웃만 본다"] B --> C["가중치 공유 = 합성곱<br/>모든 자리가 같은 커널"] C --> D["채널<br/>칸마다 여러 특징, C_out(C_in·k² + 1)"] C --> E["층 쌓기<br/>수용 영역 1 + L(k − 1)"] E --> F["실제로 기대는 폭은 √L<br/>멀리 보기 어렵다"] C --> G["디노이징 커널<br/>노이즈 레벨마다 다르다"]
정리 연습문제
물음. 밝기가 0에서 10으로 갑자기 바뀌는 줄에 이웃 평균 커널 [¼, ½, ¼]을 걸었다. 바뀐 곳은 어떻게 보이는가?
- [ ] 평균을 내도 바뀐 곳은 그대로 또렷하다 〔틀림: 합이 1인 커널은 바뀐 곳 둘레의 값을 섞는다. 경계가 커널 폭만큼 비탈로 흐려진다.〕
- [x] 커널 폭만큼 비탈로 흐려진다. 바뀐 곳을 찾으려면 합이 0인 차이 커널을 건다 〔맞음: 이웃 평균은 굵은 무늬를 남기고, 합이 0인 커널은 한결같은 곳을 0으로 지워 바뀐 곳만 남긴다.〕
- [ ] 바뀐 곳만 남고 한결같은 곳은 0이 된다 〔틀림: 한결같은 곳을 0으로 만드는 것은 합이 0인 커널이다. 합이 1인 이웃 평균은 한결같은 곳을 그대로 둔다.〕
물음. 합성곱 층에서는 입력 그림을 옮기면 출력도 그만큼 옮겨진다. 「옮기면 옮겨진다」는 성질은 어디서 오는가?
- [x] 모든 자리가 같은 커널을 나눠 쓰기 때문이다 〔맞음: 가중치 공유 덕분에 한 자리에서 배운 것을 다른 자리에서도 쓰고, 파라미터 수도 그림 크기와 상관없어진다.〕
- [ ] 출력 칸마다 이웃만 보기 때문이다 〔틀림: 이웃만 보더라도 자리마다 다른 커널을 쓰면 옮긴 입력에 다른 커널이 걸려 「옮기면 옮겨진다」가 깨진다.〕
- [ ] 커널의 합이 1이기 때문이다 〔틀림: 커널의 합은 밝기를 얼마나 남기는지를 정할 뿐이다. 합이 0인 차이 커널도 옮기면 옮겨진다.〕
물음. 3 × 3 커널, 입력 채널 4개, 출력 채널 8개인 합성곱 층이 있다. 바이어스는 출력 채널마다 하나다. 파라미터는 모두 몇 개인가?
- [ ] 80개 〔틀림: 입력 채널 수를 빠뜨렸다. 커널 한 칸이 입력 채널 하나와 출력 채널 하나를 잇는다.〕
- [ ] 288개 〔틀림: 가중치만 셌다. 출력 채널마다 바이어스가 하나씩 더 있다.〕
- [x] 296개 〔맞음: 가중치가 9 × 4 × 8 = 288개이고, 바이어스 8개를 더한다.〕
물음. 3 × 3 커널을 층층이 쌓으면 출력 한 칸이 닿는 수용 영역은 층 수에 비례해 넓어진다. 출력 한 칸이 실제로 크게 기대는 폭은 어떻게 자라는가?
- [ ] 수용 영역 안의 칸에 고르게 기대니, 수용 영역과 똑같이 층 수에 비례해 자란다 〔틀림: 가운데 칸으로 이어지는 경로가 훨씬 많아 기여도가 가운데에 몰린다. 끝 칸에는 거의 기대지 않는다.〕
- [x] 층 수의 제곱근에 비례해 자란다 〔맞음: 층마다 기여도가 이웃으로 번지는 것은 서로 상관없는 스텝을 잇는 무작위 걷기와 같아, 분산이 더해지고 폭은 제곱근으로 자란다.〕
- [ ] 층마다 두 배씩 넓어진다 〔틀림: 층 하나가 더하는 폭은 커널 크기가 정한다. 이론상 폭도 층마다 같은 칸 수만큼 늘 뿐이다.〕
물음. 1 × 1 합성곱은 이웃 칸을 하나도 보지 않는다. 이 층은 무슨 일을 하는가?
- [ ] 이웃을 보지 않으니 아무 일도 하지 않는다 〔틀림: 칸 하나에 든 여러 채널 값에 같은 행렬을 곱해 새 채널들을 만든다.〕
- [ ] 그림의 크기를 절반으로 줄인다 〔틀림: 1 × 1 합성곱은 칸의 수를 그대로 두고 칸마다의 채널 수만 바꾼다.〕
- [x] 칸마다 같은 MLP 층을 걸어 채널끼리 섞는다 〔맞음: 합성곱 층은 이웃만 보는 MLP이고, 1 × 1이면 이웃이 자기 칸 하나뿐이다.〕
막힌 곳
이제 그림 크기와 상관없는 적은 파라미터로 그림을 받아 그림을 내놓는 층을 만들 수 있다. 커널이 선택하는 대역과 방향을 데이터에서 배우고, 같은 커널을 모든 자리에서 쓰니 한 자리에서 배운 것이 다른 자리에서도 통하고, 칸마다 여러 특징을 채널로 함께 다룬다.
다만 노이즈를 걷는 커널은 노이즈가 이미 섞인 줄을 받아 걷어 냈을 뿐, 노이즈가 그림을 어떤 과정으로 망가뜨리는지는 이 장에서 아직 다루지 않았다.