합성곱: 이웃만 보는 MLP

혼동하기 쉬운 점과 요약

토론 1. 팽창 간격을 크게만 늘리면 더 멀리 보나

문제 8 (나)에서 간격 1, 2, 4로 세 층을 쌓으면 수용 영역이 15칸이었다. 간격을 1, 4, 16으로 더 빨리 키우면 같은 가중치로 더 넓게 보는가?

선생님 T01
선생님

문제 8에서 간격 1, 2, 4로 세 층을 쌓으니 수용 영역이 15칸이었어요. 간격을 1, 4, 16으로 더 빨리 키우면 어떨까요?

김민준 M02
김민준

같은 식으로 1 + 2(1 + 4 + 16) = 43칸이요. 가중치는 그대로인데 세 배 가까이 넓어지네요. 간격은 크게 잡을수록 이득이겠어요.

선생님 T01
선생님

43칸 가운데 출력에 닿는 칸이 몇 개인지 세어 볼까요? 층마다 커널이 선택하는 자리는 −간격, 0, +간격 셋이에요.

김민준 M03
김민준

세 층에서 하나씩 고르니까 3 × 3 × 3 = 27가지 자리요. 하나도 안 겹쳐도 27칸이 최대네요. 43칸 가운데 16칸은 남아요.

이서연 S03
이서연

어느 칸이 빠지는지 보자. 앞의 두 층으로 갈 수 있는 자리는 −1, 0, 1에 −4, 0, 4를 더한 거니까… −5, −4, −3, −1, 0, 1, 3, 4, 5. 2가 없어.

김민준 M04
김민준

바로 옆 둘째 칸을 못 보는 거예요? 21칸 밖까지 닿는데 두 칸 옆은 구멍이라니. 간격만 키운다고 되는 게 아니었네요.

선생님 T14
선생님

1, 2, 4는 왜 구멍이 없었을까요?

이서연 S08
이서연

음, 앞의 두 층이 −3부터 3까지 7칸을 빈틈없이 메우고, 다음 간격 4가 그 7칸보다 작으니까 이어 붙여도 빈칸이 안 생겨요. 다음 간격이 앞에서 메운 칸 수보다 크면 그 사이가 빠지고요. 1, 4는 앞이 3칸뿐인데 간격이 4라 2가 빠졌어요.

김민준 M07
김민준

그럼 1, 3, 9는요? 앞이 −1부터 1까지 3칸이고 다음 간격이 3이니 딱 맞고, 그다음엔 −4부터 4까지 9칸에 간격 9니까 또 딱 맞네요. 27칸이 하나도 안 빠지고 다 닿아요.

이서연 S07
이서연

2진법이 1, 2, 4, 8로 모든 수를 빈틈없이 만드는 거랑 같네. 커널이 −1, 0, 1 세 가지라 3진법처럼 1, 3, 9까지 키워도 되고. 그보다 빨리 키우면 못 만드는 수가 생겨.

선생님 T13
선생님

그래요. 수용 영역의 넓이만 세지 말고 그 안이 빈틈없이 메워지는지도 봐야 해요.

토론 2. 파라미터가 적으면 계산할 값도 적나

Stable Diffusion 1.x 의 디노이징 신경망 첫 층은 파라미터가 11,840개뿐이다. 이 층이 계산해 내놓는 값도 그만큼 적은가?

선생님 T01
선생님

문제 12에서 본 Stable Diffusion 1.x 첫 층은 채널 4개를 받아 320개를 내놓는 3 × 3 합성곱이고, 파라미터가 11,840개뿐이었어요. 이 층이 계산해 내놓는 값도 그만큼 적을까요?

이서연 S02
이서연

파라미터가 1만 개 정도면 내놓는 값도 그 정도 아닐까요? 전부 잇는 층의 214억 개에 비하면 아주 가벼운 층이잖아요.

선생님 T01
선생님

출력 그림의 크기부터 적어 봐요. 가로세로와 채널 수요.

김민준 M03
김민준

64 × 64칸에 칸마다 채널 320개니까 64 × 64 × 320 = 1,310,720개요. 입력은 64 × 64 × 4 = 16,384개였고요.

이서연 S04
이서연

파라미터는 11,840개인데 내놓는 값은 131만 개네요. 입력의 80배예요. 파라미터 수와 내놓는 값의 수는 서로 다른 거였어요.

선생님 T14
선생님

왜 그렇게 갈릴까요? 그 131만 개 하나하나를 계산할 때 어느 파라미터를 쓰죠?

이서연 S08
이서연

같은 출력 채널이면 모든 칸이 같은 커널과 바이어스, 37개를 써요. 파라미터는 커널 크기와 채널 수로 정해지고, 내놓는 값은 거기에 칸 수 4,096을 곱한 만큼 생기네요. 곱셈도 값 하나마다 36번씩이라 4,700만 번이 넘고요.

김민준 M07
김민준

레시피 한 장으로 100인분을 하는 거랑 같네요. 레시피 글자 수는 그대로인데, 냄비와 재료는 100인분만큼 필요하잖아요. 합성곱 층은 파라미터는 가벼워도 메모리와 계산은 그림 크기를 따라 커져요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
평균을 내도 갑자기 바뀐 곳이 그대로 보인다고 봄 1 합이 1인 커널은 경계를 커널 폭만큼 비탈로 흐린다. 바뀐 곳을 찾으려면 합이 0인 차이 커널을 쓴다
수학의 합성곱과 신경망의 합성곱이 같다고 봄 2 수학은 커널을 뒤집어 건다(x[i − j]). 신경망 라이브러리는 뒤집지 않는다(교차 상관). 좌우가 같은 커널만 결과가 같다
디노이징 커널 하나를 모든 노이즈 레벨에 씀 3 노이즈가 클수록 넓고 합이 작은 커널이 맞다. 다른 수준의 커널은 아무것도 안 하느니만 못할 수 있다. 신경망은 노이즈 레벨을 알아야 한다
칸마다 따로 배우는 방식(검수원 20명)이 늘 더 꼼꼼하다고 봄 4 자리마다 규칙이 같다면 공유한 쪽이 같은 데이터로 자리 수만큼 더 많이 배운다
이웃만 보면 「옮기면 옮겨진다」가 저절로 생긴다고 봄 5 「옮기면 옮겨진다」는 같은 커널을 나눠 쓰는 데서 온다. 자리마다 다른 커널이면 깨진다
공유한 층의 파라미터에서 바이어스를 빼먹음 6, 11 바이어스를 단위마다 두는지 채널마다 두는지 확인하고 더한다
수용 영역 안의 칸이 모두 비슷하게 중요하다고 봄 7, 9 이론상 폭은 층 수에 비례하지만 실제로 기대는 폭은 층 수의 제곱근에 비례한다
다채널 층의 가중치를 셀 때 채널 수를 한 번만 곱함 8 커널 한 칸이 입력 채널 하나와 출력 채널 하나를 잇는다. k² × Cin × Cout
팽창 간격을 크게만 늘리면 된다고 봄 토론 1 간격이 너무 빨리 커지면 수용 영역 안에 아무도 보지 않는 칸이 생긴다
1 × 1 합성곱은 이웃을 안 보니 유용하지 않다고 봄 11 칸마다 같은 MLP 층이다. 채널끼리 섞는다
입출력 채널을 맞바꾸면 파라미터도 같다고 봄 12 가중치는 같지만 바이어스는 출력 채널 수만큼이다
파라미터가 적으면 계산할 값도 적다고 봄 토론 2 합성곱 출력은 칸마다 채널 수만큼 값이 있다. 첫 층 출력이 입력의 80배다

요약

얼굴 사진을 되살릴 때 속을 열지 않고 빌려 쓴 「이웃한 칸들을 묶어 읽는 층」도, 손으로 고른 곧은 획 필터도 이웃에 비율을 곱해 더하는 합성곱이었고, 곱하는 비율은 사람이 정하지 않아도 데이터에서 배울 수 있다. 합성곱은 MLP 를 이웃만 보고 모든 자리에서 같은 가중치를 쓰도록 묶은 것이라서, 가중치 수는 그림 크기와 상관없어지고 왼쪽에서만 배운 막대를 오른쪽에서도 알아보듯 한 자리에서 배운 것이 옮긴 자리에서도 통한다. 이웃에 같은 비율을 곱해 더하는 계산이 합성곱이고, 곱하는 비율의 묶음이 커널이다. 그림을 흐리게 하던 블러도 종 모양 커널의 합성곱이었고, 커널을 바꾸면 선택하는 대역과 방향이 바뀐다. 이웃 평균 [¼, ½, ¼]은 공간 주파수가 낮은 굵은 무늬를 남기고, [−1, 2, −1]은 가장 높은 가는 무늬를 남기며, 윤곽을 찾거나 노이즈를 걷어 내는 커널도 비율 몇 개의 차이다. 커널을 가중치로 두면 학습으로 정할 수 있다. 모든 자리가 같은 커널을 쓰는 가중치 공유 덕분에 파라미터 수는 그림 크기와 상관없어지고, 입력을 옮기면 출력도 그만큼 옮겨져 한 자리에서 배운 것을 다른 자리에서도 쓴다. 커널을 층층이 쌓으면 출력 한 칸이 보는 수용 영역은 층 수에 비례해 넓어지지만, 실제로 기대는 폭은 층 수의 제곱근으로만 자란다. 칸마다 수가 여러 개면 채널로 다루며, 합성곱 층은 칸마다 이웃의 모든 채널 값을 펴서 같은 행렬을 곱하는, 이웃만 보는 MLP다.

flowchart LR
  K["블러<br/>종 모양 비율로 굵은 대역을 고른다"] -->|"비율을 배우면"| C
  A["MLP<br/>출력 칸마다 입력 전부에 따로 가중치"] --> B["이웃만 잇기<br/>k × k 이웃만 본다"]
  B --> C["가중치 공유 = 합성곱<br/>모든 자리가 같은 커널"]
  C --> D["채널<br/>칸마다 여러 특징, C_out(C_in·k² + 1)"]
  C --> E["층 쌓기<br/>수용 영역 1 + L(k − 1)"]
  E --> F["실제로 기대는 폭은 √L<br/>멀리 보기 어렵다"]
  C --> G["디노이징 커널<br/>노이즈 레벨마다 다르다"]

정리 연습문제

물음. 밝기가 0에서 10으로 갑자기 바뀌는 줄에 이웃 평균 커널 [¼, ½, ¼]을 걸었다. 바뀐 곳은 어떻게 보이는가?

  • [ ] 평균을 내도 바뀐 곳은 그대로 또렷하다 〔틀림: 합이 1인 커널은 바뀐 곳 둘레의 값을 섞는다. 경계가 커널 폭만큼 비탈로 흐려진다.〕
  • [x] 커널 폭만큼 비탈로 흐려진다. 바뀐 곳을 찾으려면 합이 0인 차이 커널을 건다 〔맞음: 이웃 평균은 굵은 무늬를 남기고, 합이 0인 커널은 한결같은 곳을 0으로 지워 바뀐 곳만 남긴다.〕
  • [ ] 바뀐 곳만 남고 한결같은 곳은 0이 된다 〔틀림: 한결같은 곳을 0으로 만드는 것은 합이 0인 커널이다. 합이 1인 이웃 평균은 한결같은 곳을 그대로 둔다.〕

물음. 합성곱 층에서는 입력 그림을 옮기면 출력도 그만큼 옮겨진다. 「옮기면 옮겨진다」는 성질은 어디서 오는가?

  • [x] 모든 자리가 같은 커널을 나눠 쓰기 때문이다 〔맞음: 가중치 공유 덕분에 한 자리에서 배운 것을 다른 자리에서도 쓰고, 파라미터 수도 그림 크기와 상관없어진다.〕
  • [ ] 출력 칸마다 이웃만 보기 때문이다 〔틀림: 이웃만 보더라도 자리마다 다른 커널을 쓰면 옮긴 입력에 다른 커널이 걸려 「옮기면 옮겨진다」가 깨진다.〕
  • [ ] 커널의 합이 1이기 때문이다 〔틀림: 커널의 합은 밝기를 얼마나 남기는지를 정할 뿐이다. 합이 0인 차이 커널도 옮기면 옮겨진다.〕

물음. 3 × 3 커널, 입력 채널 4개, 출력 채널 8개인 합성곱 층이 있다. 바이어스는 출력 채널마다 하나다. 파라미터는 모두 몇 개인가?

  • [ ] 80개 〔틀림: 입력 채널 수를 빠뜨렸다. 커널 한 칸이 입력 채널 하나와 출력 채널 하나를 잇는다.〕
  • [ ] 288개 〔틀림: 가중치만 셌다. 출력 채널마다 바이어스가 하나씩 더 있다.〕
  • [x] 296개 〔맞음: 가중치가 9 × 4 × 8 = 288개이고, 바이어스 8개를 더한다.〕

물음. 3 × 3 커널을 층층이 쌓으면 출력 한 칸이 닿는 수용 영역은 층 수에 비례해 넓어진다. 출력 한 칸이 실제로 크게 기대는 폭은 어떻게 자라는가?

  • [ ] 수용 영역 안의 칸에 고르게 기대니, 수용 영역과 똑같이 층 수에 비례해 자란다 〔틀림: 가운데 칸으로 이어지는 경로가 훨씬 많아 기여도가 가운데에 몰린다. 끝 칸에는 거의 기대지 않는다.〕
  • [x] 층 수의 제곱근에 비례해 자란다 〔맞음: 층마다 기여도가 이웃으로 번지는 것은 서로 상관없는 스텝을 잇는 무작위 걷기와 같아, 분산이 더해지고 폭은 제곱근으로 자란다.〕
  • [ ] 층마다 두 배씩 넓어진다 〔틀림: 층 하나가 더하는 폭은 커널 크기가 정한다. 이론상 폭도 층마다 같은 칸 수만큼 늘 뿐이다.〕

물음. 1 × 1 합성곱은 이웃 칸을 하나도 보지 않는다. 이 층은 무슨 일을 하는가?

  • [ ] 이웃을 보지 않으니 아무 일도 하지 않는다 〔틀림: 칸 하나에 든 여러 채널 값에 같은 행렬을 곱해 새 채널들을 만든다.〕
  • [ ] 그림의 크기를 절반으로 줄인다 〔틀림: 1 × 1 합성곱은 칸의 수를 그대로 두고 칸마다의 채널 수만 바꾼다.〕
  • [x] 칸마다 같은 MLP 층을 걸어 채널끼리 섞는다 〔맞음: 합성곱 층은 이웃만 보는 MLP이고, 1 × 1이면 이웃이 자기 칸 하나뿐이다.〕

막힌 곳

이제 그림 크기와 상관없는 적은 파라미터로 그림을 받아 그림을 내놓는 층을 만들 수 있다. 커널이 선택하는 대역과 방향을 데이터에서 배우고, 같은 커널을 모든 자리에서 쓰니 한 자리에서 배운 것이 다른 자리에서도 통하고, 칸마다 여러 특징을 채널로 함께 다룬다.

다만 노이즈를 걷는 커널은 노이즈가 이미 섞인 줄을 받아 걷어 냈을 뿐, 노이즈가 그림을 어떤 과정으로 망가뜨리는지는 이 장에서 아직 다루지 않았다.