자주 하는 실수와 요약

자주 하는 실수

실수	나온 문제	바로잡는 법
표준화한 어드밴티지는 대개 ±2 안에 든다고 봄	2	±2는 정규분포의 이야기다. 0/1 보상에서 $\textcolor{#5f970c}{G}$ 개 중 하나만 맞히면 그 답은 $\sqrt{\textcolor{#5f970c}{G}-1}$ 을 받는다( $\textcolor{#5f970c}{G} = 64$ 면 7.94)
0.1점 차이를 크게 미는 것은 손해가 아니라고 봄	4	$(\textcolor{#d9670b}{r}-\textcolor{#00897b}{\mu})/\textcolor{#008deb}{\sigma}$ 는 스케일에 불변이라, 혼자 문제를 푼 답과 같은 크기의 신호가 0.1점 차이나 노이즈에 쓰인다
분모에 아주 작은 수를 더하면 작은 $\textcolor{#008deb}{\sigma_G}$ 문제가 풀린다고 봄	4	분모에 더한 작은 수는 0으로 나누기만 막는다. $\textcolor{#008deb}{\sigma_G}$ 가 작아도 0이 아니면 부풀림은 그대로다
마지막 답 하나만 꺼내게 고치면 검증기를 속일 수 없다고 봄	6	판정하는 명제(「마지막에 쓴 답이 정답과 같다」)와 바라는 명제(「옳게 풀었다」)가 아직 다르다. 찍어서 맞힌 답과 표기가 다른 정답이 두 명제가 어긋나는 곳이다
보상 모델을 다시 들이면 비평가도 돌아와야 한다고 봄	7	그룹 평균은 점수가 어디서 왔든 계산된다. 검증기와 그룹 평균은 서로 독립인 대체다
보상 모델도 강화학습 동안 업데이트된다고 봄	7	보상 모델은 강화학습 전에 학습해 얼려 둔다. 강화학습 동안 업데이트되는 것은 정책뿐이다

요약

GRPO는 PPO의 비평가를 같은 프롬프트에서 뽑은 $\textcolor{#5f970c}{G}$ 개 답의 통계로 바꾼다. 그룹 평균 $\textcolor{#00897b}{\mu_G}$ 가 가치 추정이 되고, 어드밴티지는 $(\textcolor{#d9670b}{R_i} - \textcolor{#00897b}{\mu_G})/\textcolor{#008deb}{\sigma_G}$ 로 응답 안의 모든 토큰에 같은 값이 붙는다. 모두 맞히거나 모두 틀린 그룹은 어드밴티지가 0이라 아무것도 배우지 않고, 드물게 맞힌 답 하나는 아주 큰 어드밴티지( $\sqrt{\textcolor{#5f970c}{G}-1}$ )를 받는다. 목적함수는 PPO의 클리핑을 그대로 쓰고 KL 항을 늘 0 이상인 k3 어림으로 손실에 직접 더하며, 길이로 나누기와 표준편차로 나누기를 품고 있다. 특히 표준편차 나누기는 아주 작은 보상 차이도 표준 크기로 부풀린다. RLVR은 보상 모델을 규칙 기반 검증기로 바꿔, 정답을 자동 판정할 수 있는 도메인에서 사람 라벨 없이 온라인 학습을 가능하게 한다. 정답이 아닌 응답이 검증기를 속이기는 어렵지만 불가능하지는 않고, 보상이 희소하면 배울 그룹이 거의 남지 않는다. 두 대체는 서로 독립이라 GRPO는 보상 모델과도, RLVR은 비평가가 있는 PPO와도 짝지을 수 있다. DeepSeek-R1은 이 조합이 수학·코드 너머의 단계적 추론 습관까지 강화할 수 있음을 보였다.