합성곱: 이웃만 보는 MLP

가중치 공유: 모든 자리에서 같은 커널을 쓴다

이웃 평균도, 윤곽 커널도 줄의 모든 칸에서 같은 비율을 썼는데, 너무 당연해 보여 따로 말할 거리도 없어 보인다. 그런데 출력 칸마다 입력 칸 전부에 각각 다른 가중치를 두는 MLP의 눈으로 보면, 모든 칸에서 같은 비율을 쓰는 것은 강한 제약이다. 가로세로 16칸 그림에서 세로 막대를 찾는 실험에서, 막대가 왼쪽 절반에만 있는 그림으로 배운 MLP는 오른쪽 절반의 막대를 50.8%만 맞혀 동전 던지기와 같았다. 모든 자리에서 같은 커널을 쓰기로 하면 무엇이 달라질까?

역사: 연결 여러 개를 파라미터 하나로 묶기

1980년 일본 NHK 방송기술연구소의 후쿠시마 구니히코(福島邦彦)는 「위치가 옮겨져도 영향받지 않는 패턴 인식」을 내건 신경망 네오코그니트론을 발표했다. 같은 특징을 찾는 단위들을 그림 곳곳에 늘어놓고 층을 쌓는 구조였지만, 학습은 정답 없이 스스로 조직하는 방식이었다.

1989년 미국 벨 연구소의 르쿤(Yann LeCun)과 동료들은 같은 생각을 역전파와 묶었다. 태스크는 미국 우편 서비스가 제공한 편지 봉투의 손글씨 우편번호 숫자를 알아보는 일이었다. 숫자 하나를 가로세로 16칸으로 맞춘 그림 7,291장으로 학습하고 2,007장으로 시험했다. 이들은 첫 층의 단위마다 입력의 5 × 5칸 이웃만 보게 하고, 한 특징 지도에 속한 단위들은 모두 같은 가중치 25개를 쓰게 묶었다. 논문은 이 기법을 「여러 연결을 파라미터 하나로 조종하는 것」이라 설명하고, 이렇게 하면 파라미터가 크게 줄 뿐 아니라 태스크의 기하에 대한 정보를 신경망에 담을 수 있다고 적었다. 정확한 위치는 중요하지 않으니, 같은 특징을 여러 자리에서 찾으면 된다는 것이다. 신경망 전체의 연결은 64,660개였지만 독립인 파라미터는 9,760개였다. 시험 숫자의 5.0%를 틀렸다. 같은 논문에서 은닉 단위 40개짜리 완전 연결 신경망(연결 10,690개)은 학습 숫자는 1.6%만 틀리면서 시험 숫자는 8.1%를 틀렸다.

르쿤과 동료들의 1989년 우편번호 실험에서 가중치를 묶은 합성곱 신경망은 연결이 6배 많아도 독립 파라미터는 완전 연결 신경망보다 적었고, 시험 숫자를 덜 틀렸다. 출처: LeCun et al.(1989) 본문의 숫자로 직접 그림
르쿤과 동료들의 1989년 우편번호 실험에서 가중치를 묶은 합성곱 신경망은 연결이 6배 많아도 독립 파라미터는 완전 연결 신경망보다 적었고, 시험 숫자를 덜 틀렸다. 출처: LeCun et al.(1989) 본문의 숫자로 직접 그림
김민준 M03
김민준

같은 가중치를 여러 자리에 쓰는 거면 지금은 Conv2d 한 줄이잖아요. 후쿠시마가 1980년에 구조를 이미 내놨는데, 르쿤까지 왜 9년이나 걸렸어요?

선생님 T02
선생님

네오코그니트론은 정답 없이 배웠다고 했죠. 정답과 비교한 오차를 거꾸로 전해 가중치를 고치는 역전파가 널리 알려진 것은 1986년 러멜하트(David Rumelhart), 힌턴, 윌리엄스(Ronald Williams)의 논문 뒤예요. 그런데 역전파를 손에 쥐어도 하나가 남아요. 연결 여러 개가 가중치 하나를 함께 쓰면, 그 가중치는 어느 연결의 오차를 따라 고쳐야 할까요?

이서연 S01
이서연

음, 연결마다 그래디언트가 따로 나오는데 가중치는 하나니까… 하나만 선택해 따를 수는 없고, 다 더해야 하나?

선생님 T01
선생님

그래요. 묶인 연결들의 그래디언트를 모두 더해 그 가중치 하나를 고치면 돼요. 식으로는 한 줄인데, 그때는 그 한 줄을 학습 프로그램에 직접 짜 넣어야 했어요.

김민준 M04
김민준

아, 지금은 자동 미분이 가중치를 몇 군데에서 썼든 알아서 더해 주니까 신경 쓸 일이 없던 거네요.

선생님 T01
선생님

데이터도 달랐어요. 우편 서비스가 실제 봉투에서 모아 준 숫자가 학습용 7,291장이었어요. 오늘 손글씨 숫자의 기본 데이터인 MNIST는 학습 그림만 6만 장이고요.

김민준 M02
김민준

7,291장으로는 완전 연결 신경망이 학습 숫자를 외워 버렸잖아요. 그림이 적을수록 가중치를 묶는 게 더 값졌겠네요. 그럼 64칸 그림에서 전부 잇기, 이웃만 잇기, 이웃만 같은 가중치로 잇기는 가중치 수를 세어 보면 각각 얼마나 차이 나요?

세 가지로 잇기: 전부, 이웃만, 이웃만 같은 비율로

가로세로 64칸 흑백 그림을 받아 같은 크기의 그림을 내놓는 층을 세 가지로 만들어 가중치를 세 보자.

그림 한 변의 칸 수를 n, 커널 한 변을 k라 하면 이렇게 적힌다.

P전부=(n2)2,P이웃만=n2 k2,P공유=k2\textcolor{#3c4bff}{P}_{\text{전부}} = (\textcolor{#3c4bff}{n}^2)^2, \qquad \textcolor{#3c4bff}{P}_{\text{이웃만}} = \textcolor{#3c4bff}{n}^2\,\textcolor{#3c4bff}{k}^2, \qquad \textcolor{#3c4bff}{P}_{\text{공유}} = \textcolor{#3c4bff}{k}^2
P층 하나의 가중치 수 (흑백 그림을 같은 크기로 내놓을 때)n그림 한 변의 칸 수 (여기서는 64)k커널 한 변의 칸 수 (여기서는 3)\begin{array}{ll} \textcolor{#3c4bff}{P} & \text{층 하나의 가중치 수 (흑백 그림을 같은 크기로 내놓을 때)} \\ \textcolor{#3c4bff}{n} & \text{그림 한 변의 칸 수 (여기서는 64)} \\ \textcolor{#3c4bff}{k} & \text{커널 한 변의 칸 수 (여기서는 3)} \end{array}

모든 자리에서 같은 커널을 쓰는 것을 가중치 공유 (모든 자리가 같은 가중치를 나눠 쓰기 / weight sharing)라 한다. 공유하면 가중치 수가 그림 크기 n과 상관없어진다. 512 × 512 컬러 그림이라면 전부 잇기는 6,184억 개, 이웃만 잇기도 2,123만 개인데, 공유하는 3 × 3 커널은 81개다(빨강·초록·파랑 세 수를 받아 세 수를 내므로 9 × 3 × 3).

가로세로 64칸 흑백 그림과 512칸 컬러 그림을 같은 크기로 내놓는 층 하나의 가중치 수(로그 눈금). 이웃만 보게 하면 수천 배, 같은 커널을 나눠 쓰면 다시 수백만 배 준다.
가로세로 64칸 흑백 그림과 512칸 컬러 그림을 같은 크기로 내놓는 층 하나의 가중치 수(로그 눈금). 이웃만 보게 하면 수천 배, 같은 커널을 나눠 쓰면 다시 수백만 배 준다.

줄어든 것은 수만이 아니다. 막대 실험을 합성곱으로 다시 해 보자. 세로 5칸 커널 4개를 그림 전체에 걸고, 커널마다 모든 자리 가운데 가장 큰 출력 하나만 선택해 마지막 판정에 넘긴다. 파라미터는 커널 4 × 5개, 바이어스 4개, 마지막 판정의 5개를 합쳐 29개로, MLP(은닉 단위 64개)의 16,513개보다 훨씬 적다. 같은 그림 2만 장으로 배운 뒤 시험하면 합성곱은 왼쪽 막대를 97.9%, 오른쪽 막대를 98.0% 맞힌다.

가로세로 16칸 그림에서 세로 막대 찾기. 배울 때는 막대와 흩뿌린 점이 빨간 점선의 왼쪽에만 있고, 시험은 같은 것을 오른쪽에 둔다. MLP는 오른쪽에서 50.8%로 찍기와 같고, 가중치를 공유한 합성곱은 양쪽 모두 98% 안팎이다. 스크립트 sources/convolution/shift_test.py
가로세로 16칸 그림에서 세로 막대 찾기. 배울 때는 막대와 흩뿌린 점이 빨간 점선의 왼쪽에만 있고, 시험은 같은 것을 오른쪽에 둔다. MLP는 오른쪽에서 50.8%로 찍기와 같고, 가중치를 공유한 합성곱은 양쪽 모두 98% 안팎이다. 스크립트 sources/convolution/shift_test.py

같은 그림으로 배웠는데 왜 이렇게 갈렸을까? 이웃만 보게 한 덕일까, 같은 커널을 모든 자리에서 나눠 쓰게 한 덕일까?

ML에서: 노이즈는 자리를 가리지 않는다

디퓨전 모델이 그림에 섞는 노이즈는 칸마다 같은 분포에서 따로 뽑는다. 왼쪽 위 칸의 노이즈나 오른쪽 아래 칸의 노이즈나 성질이 같으니, 노이즈를 걷어 내는 규칙도 자리마다 따로 배울 필요가 없으므로 가중치 공유가 잘 맞는 문제다. 또 공유한 커널은 그림 크기와 상관없는 수로 이루어져 있어서, 학습할 때와 다른 크기의 그림에도 같은 층을 그대로 걸 수 있다.

문제 4. 컨베이어 벨트의 검수원

공장 컨베이어 벨트에 칸이 20개 있고, 불량품 사진 400장이 칸마다 균등하게 분포해 있다. 불량 검수를 가르치는 방식은 두 가지로, (A) 칸마다 다른 검수원 20명이 자기 칸의 사진으로만 배우고 (B) 검수 기준표 한 장을 모든 칸의 사진으로 함께 만들어 20칸에서 같이 쓴다. (가) 검수원 한 명(또는 기준표 한 장)이 배우는 데 쓴 사진은 몇 장인가? (나) 벨트에 21번째 칸을 새로 달면 두 방식은 그 칸을 어떻게 검수하는가?

컨베이어 벨트 20칸과 두 가지 검수 방식. (A)는 칸마다 검수원 한 명, (B)는 20칸이 함께 쓰는 기준표 한 장이다. 점은 사진을 나타내는 표시이고, 점선 칸이 새로 달 21번째 칸이다. 스크립트 sources/convolution/problems_figs.py
컨베이어 벨트 20칸과 두 가지 검수 방식. (A)는 칸마다 검수원 한 명, (B)는 20칸이 함께 쓰는 기준표 한 장이다. 점은 사진을 나타내는 표시이고, 점선 칸이 새로 달 21번째 칸이다. 스크립트 sources/convolution/problems_figs.py
이서연 S01
이서연

(가)는 (A)가 400 ÷ 20 = 20장, (B)가 400장이에요. 그래도 (A)가 더 꼼꼼할 것 같아요. 한 사람이 자기 칸만 전담하니까요.

선생님 T02
선생님

불량품의 모양이 칸에 따라 달라지나요?

이서연 S04
이서연

아뇨, 어느 칸에 놓이든 흠집은 흠집이죠. 그러면 (A)는 같은 걸 20명이 20장씩 따로 배우는 거네요. 전담이라 꼼꼼한 게 아니라, 각각 20장밖에 못 본 거예요.

김민준 M01
김민준

(나)는 (B)면 기준표를 그대로 쓰면 되고, (A)는 21번째 칸 검수원이 아무것도 배운 적이 없어. 막대 실험에서 MLP가 오른쪽을 못 맞힌 거랑 같아.

선생님 T01
선생님

그럼 (A)가 나은 경우는 없을까요?

김민준 M03
김민준

칸마다 불량 모양이 정말 다르면요. 예를 들어 20번 칸에만 다른 기계가 붙어서 그 칸에만 생기는 흠이 있다면, 공유한 기준표는 그걸 따로 배우기 어렵겠어요.

선생님 T13
선생님

그래요. 공유는 「어느 자리에서나 같은 규칙」이라는 가정을 구조에 넣은 거예요. 그 가정이 맞는 문제에서는 같은 사진으로 스무 배 많이 배우는 셈이고요.

문제 5. 옮기면 옮겨지는가

길이 10인 줄의 2번 칸(0번부터 센다)에만 4가 있고 나머지는 0이며, 바깥은 0으로 채운다. (가) 커널 [¼, ½, ¼]을 모든 자리에 걸면 출력은 무엇인가? 같은 4를 6번 칸으로 옮기면? (나) 이번에는 자리마다 다른 커널을 써서, 0~4번 출력 칸은 [¼, ½, ¼], 5~9번 출력 칸은 [0, 1, 0](자기 칸만)이다. 4가 2번 칸에 있을 때와 6번 칸에 있을 때 출력을 비교하라.

4가 2번 칸에 있는 입력과 6번 칸에 있는 입력, (나)에서 출력 칸마다 쓰는 커널. 스크립트 sources/convolution/problems_figs.py
4가 2번 칸에 있는 입력과 6번 칸에 있는 입력, (나)에서 출력 칸마다 쓰는 커널. 스크립트 sources/convolution/problems_figs.py
이서연 S01
이서연

(가)는 1, 2, 1이 1~3번 칸에 나와. 6번으로 옮기면 5~7번에 1, 2, 1. 모양은 그대로 네 칸 옮겨졌어.

김민준 M01
김민준

(나)도 같겠죠. 커널 둘 다 합이 1이니까 4가 어디 있든 잘 나오잖아요.

선생님 T02
선생님

6번 칸의 4는 어느 출력 칸들이 보죠? 그 칸들의 커널은요?

김민준 M05
김민준

5, 6, 7번 출력이요. 셋 다 [0, 1, 0]이라 6번만 4를 받고 5번과 7번은 0이에요. 출력이 0, 4, 0이네요. 2번 칸에 있을 때는 1, 2, 1이었는데요.

이서연 S07
이서연

같은 점인데 어디 놓였느냐에 따라 번지기도 하고 안 번지기도 해. 그러니까 「옮기면 옮겨진다」는 커널을 공유해서 생긴 성질이지, 이웃만 보는 것만으로는 안 생기는 거구나.

선생님 T01
선생님

그래요. 이웃만 보되 자리마다 다른 가중치를 쓰면 파라미터는 줄어요. 그럼 막대 실험에서 MLP 가 오른쪽 막대를 50.8%밖에 못 맞힌 건, 이웃 말고 그림 전체를 봐서였을까요?

김민준 M09
김민준

음, 이웃만 보게 했어도 똑같았겠네요. 오른쪽 자리의 가중치는 학습 내내 막대를 한 번도 못 봤으니까요. 왼쪽에서 배운 커널을 오른쪽에서도 같이 써야 오른쪽 막대를 알아보는 거였어요.

문제 6. 우편번호 신경망의 첫 층

르쿤과 동료들(1989)의 첫 은닉층은 특징 지도 12개로 이루어지고, 지도마다 단위가 가로세로 8칸에 늘어서 있다. 단위마다 입력 그림의 5 × 5 이웃을 보고 바이어스는 단위마다 따로 두지만, 같은 지도의 단위들은 가중치 25개를 함께 쓴다. (가) 이 층의 단위 수와 연결 수(바이어스도 연결 하나로 센다)는? (나) 자유 파라미터는 몇 개인가? (다) 공유하지 않았다면, 그리고 입력 16 × 16 = 256칸 전부를 잇는 완전 연결이었다면 파라미터는 몇 개인가?

르쿤과 동료들(1989)의 첫 은닉층 구성. 16 × 16 입력의 5 × 5 이웃을 보는 단위가 8 × 8로 늘어선 특징 지도 12개. 스크립트 sources/convolution/problems_figs.py
르쿤과 동료들(1989)의 첫 은닉층 구성. 16 × 16 입력의 5 × 5 이웃을 보는 단위가 8 × 8로 늘어선 특징 지도 12개. 스크립트 sources/convolution/problems_figs.py
이서연 S01
이서연

단위는 12 × 64 = 768개, 연결은 단위마다 25 + 1 = 26이라 768 × 26 = 19,968개요. 파라미터는 공유하니까 지도마다 25개, 12 × 25 = 300개예요.

김민준 M03
김민준

논문에는 자유 파라미터가 1,068개라고 나와 있던데. 768개가 어디서 더 왔지?

선생님 T02
선생님

바이어스는 어떻게 한다고 했죠?

이서연 S04
이서연

아, 단위마다 따로요. 연결 수를 셀 때는 바이어스를 넣어 놓고, 파라미터를 셀 때 빼먹었네요. 바이어스 768개가 더해져서 1,068개예요.

김민준 M01
김민준

(다)는 공유하지 않으면 연결마다 파라미터 하나니까 19,968개, 완전 연결이면 256 × 768 + 768 = 197,376개. 공유한 층의 185배야.

선생님 T01
선생님

같은 입력을 받아 같은 특징 지도 768칸을 내는 층이 파라미터 1,068개냐 197,376개냐인데, 학습 숫자는 7,291장뿐이었어요. 어떤 일이 생겼을까요?

이서연 S08
이서연

파라미터가 숫자 그림보다 훨씬 많으면 학습 그림을 외워 버리기 쉬워요. 완전 연결 신경망이 학습 숫자는 1.6%만 틀리고 시험 숫자는 8.1%를 틀린 게 그거였구나.