CG 렌더링: 빛의 스펙트럼을 세 숫자로 줄여 그리기

혼동하기 쉬운 점과 요약

토론 1. 게임 화면의 CG 티는 빛을 세 숫자로 계산해서 나는가

게임 엔진을 모두 파장마다 계산하는 스펙트럴 렌더러로 바꾸면, 화면의 CG 티는 사라질까?

선생님 T01
선생님

세 숫자로 줄인 뒤 곱하면 두 천의 차이가 사라지고, 다 그린 뒤에는 되찾지도 못했어요. 그럼 게임 엔진을 모두 파장마다 계산하는 렌더러로 바꾸면 화면의 CG 티도 사라질까요?

김민준 M01
김민준

사라질 것 같은데요. 웨타도 카메라 색을 3×3 행렬 너머로 계산하자 사람이 알아볼 만한 차이가 아주 많은 장면에서 보였다잖아요. CG 티의 상당 부분은 세 숫자에서 오겠죠.

선생님 T01
선생님

진짜냐고만 물은 라데마허 팀의 실험을 떠올려 봐요. 매끈한 블록과 거친 블록 사진은 빛을 몇 숫자로 계산해 그린 그림이었죠?

김민준 M04
김민준

아, 계산한 그림이 아니라 둘 다 찍은 진짜 사진이었어요. 그런데도 매끈하게 칠한 블록은 「진짜」라는 답이 0.39, 거친 블록은 0.71 이었고요.

이서연 S01
이서연

빛은 진짜 빛 그대로인데도 매끈하면 진짜가 아니라는 답이 더 많았네. 그 실험에서 사실감을 깎은 건 빛을 계산하는 방식이 아니라 표면이었어.

선생님 T02
선생님

그럼 세 숫자 근사는 CG 티와 상관이 없을까요? 천 A 를 세 조명 아래 RGB 곱으로 그렸을 때는 어땠죠?

김민준 M01
김민준

고른 흰빛에서는 참 값과 같았고, 백열등에서 4.5%, 나트륨등 흉내에서 14% 달랐어요.

이서연 S07
이서연

상관이 없는 게 아니라, 좁은 띠 조명이나 유리구슬, 형광 같은 조명과 재질을 만나야 드러나는 겹이구나. 흰빛에 가까운 장면에서는 거의 안 보이고.

김민준 M07
김민준

그럼 스펙트럴로 바꾸기만 하면 사진처럼 되는 건 아니네요. 질감이랑 그림자 같은 겹을 먼저 좁혀야 세 숫자 근사가 남은 차이로 보이는 거고요.

선생님 T13
선생님

그래요. 여러 겹이 사실감을 각각 얼마나 깎는지 한 실험에서 함께 측정한 연구는 찾지 못했으니, 말할 수 있는 건 거기까지예요. 세 숫자 근사는 다른 겹을 좁힌 뒤에도 남는 하나이고, 어떤 조명과 재질을 만나느냐에 따라 맞기도 하고 드러나기도 해요.

혼동하기 쉬운 점

혼동하기 쉬운 생각 바른 생각 나온 문제
게임 화면의 CG 티는 빛을 세 숫자로 계산해서 난다 진짜 사진도 표면이 매끈하면 「진짜」 응답이 0.39 로 떨어졌다. 질감·그림자 같은 겹이 먼저 사실감을 깎고, 세 숫자 근사는 좁은 띠 조명·유리·형광 같은 조명과 재질을 만날 때 드러나는 한 겹이다 토론 1
한 조명 아래 세 숫자가 같으면 두 물체는 같은 색이다 세 숫자는 31칸 스펙트럼을 셋으로 줄인 것이라, 스펙트럼이 달라도 같을 수 있다(메타머). 조명을 바꾸면 달라진다 문제 1
RGB 곱은 늘 조금씩 틀린다 조명이나 반사율 가운데 하나가 파장마다 일정하면 정확하다. 둘 다 파장에 따라 바뀔 때 틀린다 문제 2
그 조명으로 미리 환산한 세 숫자는 어느 조명에서나 낫다 미리 환산은 그 조명 하나에서만 정확하다. 고른 흰빛에서는 흰빛 가정보다 나빠질 수도 있다 문제 2
모델을 키우면 같은 세 숫자를 내는 두 재질도 구분할 수 있다 입력이 같으면 어떤 모델도 출력이 같다. 조명을 바꾼 사진처럼 입력을 늘려야 한다 문제 3
반사율을 칸마다 잘 고르면 형광 펜도 반사율로 적을 수 있다 칸마다 곱하기는 대각 행렬이라 빛을 다른 파장으로 옮기는 형광은 적을 수 없다. 한 조명에 맞춰 1 을 넘는 반사율을 적으면 다른 조명에서 틀린다 문제 4
흑백 값을 칼라로 바꾸는 표를 잘 만들면 원래 색을 되찾는다 줄인 숫자 하나에 출력은 하나다. 칼라 앱은 둘레의 모양으로 그럴듯한 색을 추정한다 문제 5
한쪽 천을 정확히 맞히는 보정이 가장 좋다, 표의 칸을 늘리면 오차가 준다 두 천은 표의 같은 칸에 들어가므로, 가장 좋은 출력은 가운데이고 오차는 |yA − yB|²/2 아래로 내려가지 않는다 문제 6
이웃을 보는 합성곱 신경망은 두 천의 자리를 보고 구분한다 합성곱은 자리를 모른다. 이웃이 같으면 출력도 같다 문제 7
같은 수의 샘플이면 아무렇게나 선택해도 오차가 비슷하다 같은 간격으로 놓으면 간격보다 느린 출렁임이 지워져 오차가 훨씬 작다. 간격과 같은 주기의 성분은 남는다 문제 8
계수를 몇 개만 남겨 적은 반사율도 반사율이다 몇 개만 남기면 1 을 넘거나 0 아래로 내려갈 수 있다. 시그모이드 같은 형태에 넣어야 범위를 지킨다 문제 9
기저 숫자를 늘리면 무조건 RGB 곱보다 낫다 어떤 축으로 줄이느냐가 중요하다. 상자 3칸은 RGB 곱보다 나쁘고, 좁은 띠 조명은 상자가 좁아야 맞는다 문제 10

요약

옷 가게에서 같던 두 양말이 햇빛 아래에서 갈라지는 일까지 그리려면, 세 숫자로 줄이는 일은 맨 끝에 해야 한다. 빛을 세 숫자로 줄인 뒤 곱하면 곱한 뒤 줄인 것과 달라져 한 조명 아래 같던 두 천의 차이가 사라지고, 한 번 같은 세 숫자로 합쳐진 차이는 화면을 다 그린 뒤 어떤 보정으로도 되찾지 못하기 때문이다. 게임 속 유리구슬이 이어진 무지개 띠를 그리지 못하는 것도, 세 숫자로 미리 줄인 렌더러가 파장마다 갈리는 경로를 따라가지 못해서다.

flowchart LR
  L["CG 와 사진의 차이<br/>질감 · 그림자 · 피부 · 해상도 · 톤 매핑"] -->|"좁힌 뒤에도 남는 것"| A2
  A["빛의 스펙트럼<br/>조명 × 반사율"] -->|"곱한 뒤 줄이기"| B["세 숫자 (참 값)"]
  A2["조명 세 숫자, 재질 세 숫자"] -->|"줄인 뒤 곱하기 (RGB)"| C["세 숫자 (편향)<br/>좁은 띠 · 진한 색 · 분산 · 간섭 · 형광에서 드러남"]
  C --> D["컬러 그레이딩<br/>세 숫자 → 세 숫자"]
  A -->|"파장 샘플링"| E["스펙트럴 렌더링"]

정리 연습문제

물음. 옷 가게 조명 아래에서 양말 두 켤레가 눈의 세 숫자로 똑같았다. 집에 와서 노을빛 아래 보면 어떻게 되는가?

  • [ ] 세 숫자가 같았으니 어느 조명에서나 같은 색이다 〔틀림: 세 숫자는 빛의 스펙트럼을 셋으로 줄인 값이다. 스펙트럼이 달라도 세 숫자는 같을 수 있다.〕
  • [x] 다른 색으로 달라질 수 있다 〔맞음: 한 조명에서만 세 숫자가 같은 두 스펙트럼을 메타머라 한다. 조명이 바뀌면 줄인 세 숫자도 달라질 수 있다.〕
  • [ ] 좁은 띠 조명에서만 달라지고, 노을빛 아래에서는 여전히 같다 〔틀림: 파장마다 세기가 균일하지 않은 조명이면 달라질 수 있다. 다섯 칸 장난감 세계에서도 노을빛 아래 두 양말의 세 숫자가 달라졌다.〕

물음. RGB 렌더러는 조명과 반사율을 먼저 세 숫자로 줄인 뒤 채널마다 곱한다. 이 곱이 참 값과 같아지는 경우는?

  • [x] 조명이 고른 흰빛이거나, 물체가 모든 파장에서 반사율이 같은 회색일 때 〔맞음: 둘 가운데 하나가 파장마다 같은 값이면 그 상수를 합 밖으로 꺼낼 수 있다. 그러면 줄이는 일과 곱하는 일의 순서를 바꿔도 된다.〕
  • [ ] 없다. RGB 곱은 늘 조금씩 틀린다 〔틀림: 조명이나 반사율 가운데 하나가 파장마다 일정하면 정확하다.〕
  • [ ] 좁은 띠 조명처럼 빛이 몇 파장에 몰려 있을 때 〔틀림: 좁은 띠 조명은 RGB 곱이 크게 틀리는 경우다. 줄인 뒤 곱하느냐, 곱한 뒤 줄이느냐가 결과를 크게 바꾼다.〕

물음. 고른 흰빛 아래 찍은 사진의 세 숫자만 받는 재질 분류 모델이 있다. 두 천은 같은 회색 배경에 걸려 있고, 이 사진에서 세 숫자가 같다. 두 천을 가르게 하려면 무엇을 해야 하는가?

  • [ ] 모델을 더 크게 만든다 〔틀림: 입력이 같으면 어떤 모델도 같은 답을 낸다.〕
  • [ ] 이웃 칸을 보는 합성곱 층을 쌓아 두 천이 걸린 자리로 가르게 한다 〔틀림: 합성곱은 자리를 모른다. 이웃이 같으면 출력도 같다.〕
  • [x] 다른 조명 아래 찍은 사진을 입력에 더한다 〔맞음: 한 조명에서 같던 두 천도 나트륨등 흉내 같은 다른 조명에서는 세 숫자가 달라진다. 모델을 키우기보다 입력을 늘려야 한다.〕

물음. 나트륨등 흉내 아래 RGB 곱으로 그린 천 A 와 천 B 가 같은 세 숫자를 받았다. 다 그린 화면의 세 숫자를 다른 세 숫자로 바꾸는 컬러 그레이딩 표(3D LUT)로 고치려 한다. 두 천을 합쳐 가장 좋은 결과는?

  • [ ] 한쪽 천의 참 값에 정확하게 맞춘다 〔틀림: 같은 입력에는 출력이 하나뿐이라 다른 쪽 천이 크게 틀린다. 두 천의 오차를 합치면 가운데를 낼 때보다 나쁘다.〕
  • [ ] 표의 칸을 65 × 65 × 65 로 늘려 두 천을 따로 맞춘다 〔틀림: 두 천은 표의 같은 칸에 들어간다. 칸을 늘려도 둘을 구분할 수 없다.〕
  • [x] 두 천의 참 값의 가운데를 낸다. 그래도 오차는 남는다 〔맞음: 같은 세 숫자에는 출력 하나만 낼 수 있다. 메타머를 가르려면 조명을 스펙트럼끼리 곱하는 단계에서 넣어야 한다.〕

물음. 스펙트럴 렌더링에서 경로 하나마다 파장 네 개를 선택한다. 같은 경로 수에서 오차가 가장 작은 방법은?

  • [ ] 네 개를 서로 상관없이 무작위로 선택한다. 개수가 같으면 오차도 비슷하다 〔틀림: 무작위로 선택하면 집중되는 곳과 비는 곳이 생긴다. 같은 파장 네 개라도 선택하는 방법에 따라 오차가 열 배 넘게 차이 난다.〕
  • [x] 하나만 무작위로 고르고 나머지 셋은 그로부터 같은 간격으로 놓는다 〔맞음: 히어로 파장 방식이다. 같은 간격으로 놓으면 간격보다 느린 출렁임이 지워져서, 경로 하나로도 RGB 곱보다 정확했다.〕
  • [ ] 어느 방법이든 RGB 곱보다 낫지 않다. 파장을 선택하는 것도 결국 몇 개로 줄이는 일이다 〔틀림: 파장마다 따라가는 방법은 경로를 늘리면 오차가 계속 준다. RGB 곱의 편향은 경로를 아무리 늘려도 줄지 않는다.〕

물음. 보라 칸에 들어온 빛의 일부를 노랑 칸으로 내보내는 형광 펜이 있다. 칸마다 「들어온 빛 × 반사율」을 곱하는 렌더러로 이 펜을 적을 수 있는가?

  • [x] 적을 수 없다 〔맞음: 칸마다 곱하기는 대각 행렬이라 빛을 다른 파장으로 옮기지 못한다. 형광은 대각 밖의 칸에 값이 있다.〕
  • [ ] 노랑 칸의 반사율을 1 보다 크게 적으면 된다 〔틀림: 고른 빛 하나에 맞춘 숫자다. 보라만 있는 빛 아래에서는 노란빛이 하나도 나오지 않아 틀린다.〕
  • [ ] 파장 칸을 더 잘게 나누면 적을 수 있다 〔틀림: 칸을 늘려도 칸마다 따로 곱하는 것은 같다. 들어온 칸과 나가는 칸이 다른 빛은 칸 하나 안에서 끝나지 않는다.〕

막힌 곳

이제 우리는 세 숫자로 빛을 계산하는 렌더러가 어떤 조명과 재질에서 참 값과 얼마나 다른지 숫자로 말할 수 있고, 다 그린 화면을 고쳐서는 왜 참 값을 되찾지 못하는지도 안다. 다만 형광처럼 들어온 파장과 나가는 파장이 다른 재질을, 경로마다 파장 몇 개만 고르는 렌더러가 어떻게 다뤄야 하는지는 이 장의 언어로는 아직 말하지 못한다.