언롤드 최적화: 층은 최적화의 한 스텝

혼동하기 쉬운 점과 요약

토론 1. 잔차 블록을 쌓은 신경망은 모두 경사하강을 펼친 것인가

평면의 점 z 를 받는 잔차 블록 z ← z + F(z) 에서 F(z) 는 「z 를 30° 돌린 것에서 z 를 뺀 것」이다. 이 블록 열두 개를 쌓은 신경망은 어떤 함수 f 를 줄이는 경사하강을 펼친 것인가?

선생님 T01
선생님

잔차 블록 z ← z + F(z) 에서 F(z) 가 「z 를 30° 돌린 것에서 z 를 뺀 것」이라고 해요. 이 블록을 열두 개 쌓으면, 어떤 함수를 줄이는 경사하강을 펼친 걸까요?

김민준 M01
김민준

잔차 블록이니까 F 가 −η∇f 가 되는 어떤 f 가 있겠죠. 학습한 ResNet 도 손실을 줄이도록 학습됐으니까, 결국 층마다 경사하강을 하는 거 아닌가요?

선생님 T01
선생님

(1, 0) 에서 출발해 블록을 하나씩 지나 볼까요?

김민준 M01
김민준

블록 하나를 지나면 z + F(z) 니까 그냥 30° 돌린 점이에요. (0.866, 0.5). 열두 개를 지나면 360° 를 다 돌아서… (1, 0) 으로 돌아와요. 길이는 내내 1 이고요.

선생님 T01
선생님

경사하강이라면 스텝마다 f 가 어떻게 돼야 하죠?

김민준 M04
김민준

줄어야죠. 그런데 열두 번 줄었는데 출발점으로 돌아왔으면 f(1, 0) 이 자기보다 작아진 거네요. 그런 f 는 없어요. 이 블록들은 아무것도 줄이고 있지 않았어요.

선생님 T01
선생님

블록 열두 개를 다 돌려 보지 않고, 블록 하나만 보고도 알 수 있을까요? F 가 정말 어떤 f 의 그래디언트라면, F 를 미분한 행렬(자코비안)은 f 의 무엇이 되죠?

이서연 S01
이서연

음… f 를 두 번 미분한 행렬에 −η 를 곱한 거요. 두 번 미분한 행렬은 미분하는 차례를 바꿔도 같으니까 대칭이어야 해요. 이 F 의 자코비안은 (−0.134, −0.5; 0.5, −0.134) 라서 대각 밖이 −0.5 와 0.5 예요. 대칭이 아니네요.

김민준 M01
김민준

그럼 학습한 ResNet 의 F 는?

이서연 S03
이서연

그 행렬이 대칭이 되게 만든 사람은 없잖아. 학습이 손실을 줄인다는 건 파라미터를 고쳐 가는 이야기고, 한 번 학습이 끝난 신경망 안에서 층을 지날 때 z 가 무엇을 줄이는지는 다른 이야기야.

선생님 T14
선생님

그래요. z + F(z) 는 경사 한 스텝과 형태만 같아요. 경사하강을 펼친 것이라고 말하려면 F 가 어떤 함수의 그래디언트인지, 층을 지날 때마다 무엇이 줄어드는지를 따로 보여야 해요. 장 머리의 디노이저는 어떤 함수의 그래디언트인지도, 무엇이 줄어드는지도 보일 수 있어요. 노이즈 세기 σ 의 가장 좋은 디노이저도 x 에 σ²∇ln pσ 를 더하는 잔차 블록이라, 무엇을 줄이는지(−ln pσ) 알거든요.

토론 2. CRATE 와 정답률이 비슷한 ViT 도 층마다 코딩 레이트를 줄이는가

ImageNet-1K 에서 CRATE-B 는 70.8%, 파라미터 수가 비슷한 ViT-S 는 72.4%를 맞혔다. ViT-S 도 CRATE 처럼 층마다 코딩 레이트를 줄이고 있다고 말할 수 있는가?

선생님 T01
선생님

ImageNet-1K 에서 CRATE-B 는 70.8%, 파라미터 수가 비슷한 ViT-S 는 72.4%를 맞혔어요. CRATE 는 층마다 코딩 레이트가 줄도록 짠 구조였죠. 그럼 ViT-S 는 층마다 무엇을 하고 있을까요?

김민준 M01
김민준

1.6%p 차이면 거의 같은 거잖아요. 같은 문제를 거의 같은 만큼 푸니까, ViT 도 속으로는 코딩 레이트를 줄이고 있는 거 아닐까요? CRATE 는 그걸 밖으로 드러내 준 거고요.

선생님 T01
선생님

정답률 70% 언저리를 내는 다른 방법은 없을까요?

이서연 S01
이서연

합성곱 신경망도 그 언저리를 맞히는 크기가 있잖아요. 합성곱 신경망은 코딩 레이트를 줄이도록 짠 게 아닌데요.

김민준 M04
김민준

그렇네. 정답률이 같다는 건 결과가 같다는 거지, 층 안에서 하는 일이 같다는 증거는 아니구나.

선생님 T01
선생님

그럼 ViT 가 코딩 레이트를 줄이는지 알고 싶으면 무엇을 해야 할까요?

김민준 M01
김민준

ViT 의 층마다 토큰을 꺼내서 클러스터별 코딩 레이트를 측정해 봐야죠. CRATE 논문이 CRATE 안에서 측정한 것처럼요.

선생님 T14
선생님

그래요. 그걸 측정하기 전까지는 「코딩 레이트라는 목적 하나로 짠 구조가 꽤 잘 통한다」까지만 말할 수 있어요.

이서연 S11
이서연

같은 날 비를 맞힌 두 일기 예보를 두고 같은 방법으로 예보했다고 할 수는 없잖아요. 하나는 레이더를 보고, 하나는 어제 날씨를 그대로 냈을 수도 있으니까요. 한 구조에서 보인 것과 아직 안 보인 것을 나눠서 말해야겠네요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 나온 문제 바로잡는 법
반복 횟수를 정해 펼친 식이 어떤 입력에도 맞는다고 봄 1 펼친 식은 정한 층 수에서 끝난다. 그 층 수로 모자라는 입력에서는 더 돌 길이 없다
ISTA 첫 스텝의 코드를 그대로 믿음 2 ISTA 첫 스텝은 자료와 축이 닮은 정도(Wx)만 본다. 닮은 축끼리 억누르는 S 가 여러 스텝에 걸쳐 계수를 나눠 준다
S 의 대각 밖을 덜 중요한 값으로 봄 2 대각 밖이 없으면 닮은 축 둘이 자료의 같은 부분을 두 번 설명해 자료를 잘못 되살린다
잔차 연결이 있으면 경사하강이라고 봄 3, 토론 1 형태만 같다. F 가 어떤 함수의 그래디언트인지, 층마다 무엇이 줄어드는지를 따로 보여야 설명이 된다
학습한 언롤드 최적화가 ISTA 를 대신한다고 봄 4, 6 LISTA 는 학습 자료와 같은 종류에서 빠르다. 처음 보는 종류에서는 ISTA 처럼 끝까지 돌 수 없다
층 수가 줄면 계산도 그만큼 준다고 봄 5 LISTA 한 층의 S 곱은 축 수의 제곱이다. 축이 많으면 한 층이 ISTA 한 스텝보다 무겁다
어텐션을 「모두의 평균」으로 봄 7 softmax 는 닮은 토큰에 무게를 몰아 준다. 모두의 평균이면 두 클러스터가 하나로 뭉개진다
압축 스텝을 모든 방향을 줄이는 일로 봄 8 고윳값이 작은 방향을 더 세게 줄여 모양을 얇게 만든다. 똑같이 줄이면 크기만 바뀐다
장난감이나 한 구조에서 된 읽기를 모든 트랜스포머로 넓힘 9, 토론 2 설정(토큰 길이) 하나에 결과가 뒤집혔다. 보인 범위와 보이지 않은 범위를 나눠 말한다

요약

블록 하나하나를 무언가를 줄여 가는 스텝으로 읽는 일은, 층마다 무엇이 줄어드는지 보일 때에만 「특징을 뽑는다」보다 또렷한 설명이 된다. ISTA 와 CRATE 의 층은 줄일 목적을 먼저 정하고 그 목적을 줄이는 스텝을 펼쳐 짰으니 무엇을 줄이는지 식으로 말하고 측정해 볼 수 있고, 써 보니 잘 되어 남은 ResNet 과 ViT 의 블록은 그 스텝과 형태가 닮았을 뿐이다. 장 머리의 디노이저는 가장 좋은 것이면 −ln pσ 를 줄이는 잔차 블록이라, 무엇을 줄이는지 말할 수 있는 쪽에 든다.

ISTA 의 한 스텝은 z ← 문턱(Wx + Sz) 이고, 행렬 곱과 칸마다의 비선형 함수라는 점에서 신경망의 층 하나와 형태가 같다. 그래서 반복 K번은 같은 층을 K개 쌓은 신경망으로 적을 수 있다(언롤드 최적화). 장난감 문제(칸 20, 축 40, 자료마다 축 3개)에서 ISTA 는 오차를 1% 아래로 내리는 데 75스텝이 걸렸다. 스텝이 쌓이는 동안 S 의 대각 밖이 닮은 축끼리 계수를 다투게 해, ISTA 첫 스텝에 30개였던 0 아닌 계수가 100스텝 뒤 3.6개로 줄었다.

펼친 층의 W, S, 층마다의 문턱을 자료로 학습한 LISTA 는 다섯 층으로 시험 자료의 오차를 1.59%까지 내렸다. ISTA 가 65스텝을 돌아야 닿는 오차다. 그레고르·르쿤의 실험에서도 LISTA 한 층의 오차에 FISTA 가 닿으려면 18스텝(축 100개)이 걸렸다. 대신 LISTA 는 배운 종류의 자료에서 빠르다. 학습 때 못 본 축 8개짜리 자료에서는 오차가 7.15%로 올랐고, 층을 10개로 늘려도 5.13%에 머물렀다. 축이 많으면 S 가 커져 한 층이 ISTA 한 스텝보다 무거워지는 것도 계산에 넣어야 한다.

CRATE 는 같은 생각을 거꾸로 썼다. 코딩 레이트 감소라는 목적을 먼저 정하고, 클러스터별 코딩 레이트를 줄이는 스텝과 희소화 스텝을 번갈아 펼쳤더니 어텐션과 MLP 를 닮은 층이 나왔다. 평면의 장난감에서는 softmax 로 닮은 토큰끼리 섞는 스텝이 클러스터마다 토큰을 얇게 모았지만, 토큰 길이 하나에 결과가 뒤집혔다. CRATE 는 ImageNet-1K 에서 ViT 에 가까운 정답률을 냈지만, 보통의 트랜스포머가 이 목적을 따른다는 데까지는 증거가 닿지 않는다.

flowchart LR
  A["되풀이 알고리즘<br/>ISTA: 같은 스텝 K번"] -- "펼치기" --> B["K층 신경망<br/>W, S, 문턱이 층마다 같음"]
  B -- "W, S, 문턱을 학습<br/>(LISTA)" --> C["적은 층으로 같은 오차<br/>배운 종류의 자료에서만"]
  D["목적 하나<br/>코딩 레이트 감소 + 희소"] -- "스텝을 펼치기<br/>(CRATE)" --> E["어텐션 = 압축 스텝<br/>MLP = 희소화 스텝"]

정리 연습문제

물음. ISTA 한 스텝은 행렬 곱 다음에 칸마다 같은 문턱 함수를 씌운다. ISTA 스텝을 정한 횟수만큼 반복하는 계산은 무엇과 형태가 같은가?

  • [ ] 층 하나짜리 신경망. 몇 번을 돌든 같은 스텝이니까 〔틀림: 반복 한 번이 층 하나가 된다. 같은 층이 반복한 횟수만큼 쌓인다.〕
  • [x] 같은 층을 반복한 횟수만큼 쌓은 신경망 〔맞음: 행렬 곱과 칸마다의 비선형 함수가 층 하나와 형태가 같아서, 반복을 펼치면 층이 쌓인다. 반복을 층으로 펼쳐 적은 신경망이 언롤드 최적화다.〕
  • [ ] 어떤 입력이 와도 정답 코드에 닿는 신경망 〔틀림: 펼친 식은 정한 층 수에서 끝난다. 그 층 수로 모자라는 입력에서는 더 돌 길이 없다.〕

물음. 장난감 문제에서 ISTA 첫 스텝의 코드는 0 아닌 계수가 30개였는데, 100스텝 뒤에는 3.6개로 줄었다. 무엇이 계수를 줄였는가?

  • [ ] 첫 스텝의 Wx. 자료와 닮은 축만 선택해 주므로 〔틀림: 첫 스텝은 자료와 축이 닮은 정도만 본다. 그래서 조금이라도 닮은 축이 모두 계수를 받아 30개가 켜졌다.〕
  • [ ] 문턱. 스텝을 지날수록 문턱이 커지므로 〔틀림: ISTA 는 모든 스텝이 같은 문턱을 쓴다. 층마다 다른 문턱을 배우는 것은 LISTA 다.〕
  • [x] S 의 대각 밖. 닮은 축끼리 계수를 다투게 한다 〔맞음: 스텝이 쌓이는 동안 닮은 축끼리 서로를 억눌러, 진 쪽이 문턱 아래로 밀려 0이 된다.〕

물음. LISTA 다섯 층은 축 3개짜리 시험 자료에서 ISTA 65스텝만큼의 오차를 냈다. 학습 때 못 본 축 8개짜리 자료를 넣으면 어떻게 되는가?

  • [ ] LISTA 가 ISTA 를 대신하니 거기서도 다섯 층이면 된다 〔틀림: LISTA 는 학습 자료와 같은 종류에서 빠르다. 축 8개짜리 자료에서는 오차가 7.15%로 올랐다.〕
  • [ ] 층을 열 개로 늘리면 ISTA 처럼 끝까지 내려간다 〔틀림: 열 층에서도 오차가 5.13%에 머물렀다. ISTA 처럼 끝까지 돌 길이 없다.〕
  • [x] 오차가 크게 오른다. 배운 종류의 자료에서만 지름길이 통한다 〔맞음: LISTA 가 배운 것은 축 3개짜리 자료에 통하는 지름길이었다.〕

물음. 축이 400개인 문제에서 칸은 20개다. ISTA 한 스텝은 곱셈 16,000번, LISTA 한 층은 160,000번이다. 옳은 것은 어느 것인가?

  • [ ] 층 수를 줄였으니 LISTA 는 계산도 그만큼 준다 〔틀림: 이 문제에서는 LISTA 한 층이 ISTA 한 스텝의 열 배 무겁다. 층 수가 몇 분의 일이어도 계산이 몇 분의 일인 것은 아니다.〕
  • [ ] 축이 늘면 ISTA 와 LISTA 가 똑같은 비율로 무거워진다 〔틀림: LISTA 의 S 는 축 수의 제곱으로 커지고, ISTA 는 칸 수와 축 수의 곱으로만 커진다.〕
  • [x] 축이 칸보다 훨씬 많으면 LISTA 한 층이 ISTA 한 스텝보다 무겁다 〔맞음: S 가 축 × 축 크기라서 축이 많을수록 한 층이 무거워진다. 그래서 층 수와 함께 한 층의 무게도 계산에 넣는다.〕

물음. CRATE 는 클러스터별 코딩 레이트를 줄이는 스텝을 펼쳐 어텐션을 닮은 층을 얻었다. 이 층은 토큰에 무슨 일을 하는가?

  • [ ] 모든 토큰을 균일하게 평균 낸다 〔틀림: 모두의 평균이면 두 클러스터가 하나로 뭉개진다. softmax 는 닮은 토큰에 무게를 몰아 준다.〕
  • [x] 닮은 토큰끼리 섞어 클러스터마다 토큰을 얇게 모은다 〔맞음: 토큰을 옮겨 클러스터별 코딩 레이트를 줄이는 스텝이다.〕
  • [ ] 모든 방향을 똑같이 줄여 토큰을 작게 만든다 〔틀림: 똑같이 줄이면 크기만 바뀐다. 고윳값이 작은 얇은 방향을 더 세게 줄여 모양을 얇게 만든다.〕

물음. CRATE 는 ImageNet-1K 에서 ViT 에 가까운 정답률을 냈다. 여기서 말할 수 있는 것은 어느 것인가?

  • [ ] 정답률이 비슷하니 ViT 도 층마다 코딩 레이트를 줄이고 있다 〔틀림: 정답률이 같다고 속에서 하는 일이 같은 것은 아니다. 장난감에서도 설정 하나에 결과가 뒤집혔다.〕
  • [ ] 잔차 연결이 있는 신경망은 모두 어떤 목적을 경사하강으로 줄인다 〔틀림: 형태만 같다. 무엇의 그래디언트인지, 층마다 무엇이 줄어드는지를 따로 보여야 한다.〕
  • [x] 목적을 먼저 정하고 펼쳐 만든 구조로도 그만한 정답률이 나온다 〔맞음: 보통의 트랜스포머가 그 목적을 따르는지는 따로 보여야 할 일이다.〕

막힌 곳

LISTA 가 학습 자료를 하나하나 외우지 않았다는 것은 학습에 쓰지 않은 시험 자료 2,000개에서 오차를 측정해 보고서야 말할 수 있었다.