[카테고리:] 강의

연구 노트 R02. 문헌 지도 — 우리가 겪은 일은 뭐라고 불리나

연구 질문: R01의 관찰이 기존 연구에서 이미 알려진 것인지, 해결책은 무엇이 있는지, 그래서 우리 실험의 빈 곳은 어디인지. 실제로 검색해서 확인한 1차 문헌 지도입니다. (2026-09-04 검색 기준)

결론부터

  1. 현상 자체는 오래전부터, 두 학계에서 따로 알려져 있습니다. AI 안전 쪽에서는 “보상 해킹 / 명세 게임”이라는 이론으로, 보행 RL 쪽에서는 “속도 보상만으로는 부자연스러운 걸음이 나온다”는 실무 상식으로요. 06편에서 실측한 잰걸음은 그 상식의 전형적 사례입니다.
  2. 해결책도 네 계보가 이미 있습니다 — 주기 보상(클록), 에너지 최소화, 모방(데이터), 구조적 대안(제약 RL·행동 다중성·자동 보상 설계). Unitree 공식 설정은 이 중 1·2번 계보의 코드화예요.
  3. 그럼에도 빈 곳이 있습니다: 격차의 정량 분해, 학습 전 예측(사후 탐지가 아니라), 그리고 “제조사 설정 = 실기 경험의 코드화”라는 관점의 체계적 검증.

1. 현상에 이름이 두 개다

1a. 이론 쪽 — 보상 해킹 / 명세 게임

Skalse 외, Defining and Characterizing Reward Hacking (NeurIPS 2022)이 정식 정의를 줍니다. 프록시 보상을 올리는 것이 참 목적을 낮출 수 있는 조건을 형식화했는데, 핵심 정리가 뼈아픕니다. 전체 정책 공간에서 “해킹 불가능한” 비자명한 프록시 쌍은 존재하지 않는다. 즉 보상 명세의 빈틈은 원리적으로 못 없애고, 정책 집합을 제한하거나 최적화를 통제해야 한다는 뜻이에요. R01 4절(“잰걸음은 그 명세의 합리적 최적해”)의 이론적 뒷받침입니다.

실증으로는 Pan 외, The Effects of Reward Misspecification (ICLR 2022)이 있습니다. 능력이 좋은 에이전트일수록 명세의 빈틈을 더 잘 파고들며, 능력이 문턱을 넘는 순간 행동이 질적으로 바뀌는 상전이를 보고합니다. 대응책으로는 사후 이상 탐지를 제안하는데, 우리의 “사전 감사” 각도와 정확히 대비되는 지점이라 기억해 둘 만합니다.

1b. 보행 RL 쪽 — 실무 상식과 그 계보

NVIDIA 내장 보상의 직계 조상은 ETH 계열입니다. Hwangbo 외(Science Robotics 2019, ANYmal) → Rudin 외 Learning to Walk in Minutes(CoRL 2021, legged_gym — 우리가 04편에서 본 feet_air_time 등의 출처) → Isaac Lab velocity 환경.

즉 NVIDIA G1 설정은 4족용으로 검증된 보상 세트가 2족에 상속된 것이고, R01 2절의 “계보” 관찰과 일치합니다. 4족에서는 그 세트로 충분했던 이유(정적 안정성, 대칭 파괴의 비용이 작음)와 2족에서 부족한 이유가 곧 우리 이야기의 축입니다.

2. 해결책의 네 계보

계보 A — 주기(클록) 보상: 걸음의 박자를 명세에 넣는다

Siekmann 외, Sim-to-Real Learning of All Common Bipedal Gaits via Periodic Reward Composition (ICRA 2021, Cassie). 08편 1단의 직접 선행 연구입니다. 확률적 주기 구간으로 “스윙 중엔 접촉력에 벌점, 스탠스 중엔 발 속도에 벌점”을 합성해 걷기·뛰기·호핑 등 모든 2족 걸음을 파라미터로 명세하고 실기 이전까지 성공했어요. Unitree feet_gait와 시즌 1의 contact 보상은 이 아이디어의 산업판·취미판인 셈입니다.

계보 B — 에너지: 스타일을 채점하지 말고 비용을 채점하라

Fu 외, Minimizing Energy Consumption Leads to the Emergence of Gaits in Legged Robots (CoRL 2021). 걸음 스타일 보상 없이 기계적 에너지 최소화만으로 속도별 자연 걸음이 창발함을 4족 실기에서 검증했습니다. Unitree energy 항목의 학술적 근거이자, “자연스러움은 미학이 아니라 물리”라는 R01 3.3절 해석의 뒷받침이에요. 단, 험지에서는 비정형 걸음이 나온다는 단서도 함께 달려 있습니다.

계보 C — 모방: 스타일을 데이터로

Peng 외, AMP: Adversarial Motion Priors (SIGGRAPH 2021). 판별기가 참조 모션과의 유사도를 스타일 보상으로 제공합니다. 보상 설계 자체를 우회하는 방식이죠. 전신 휴머노이드 제어 계열과 unitree_rl_lab의 mimic 트랙이 여기 속합니다. 전제는 모션 데이터가 있어야 한다는 것.

계보 D — 구조적 대안: 보상 엔지니어링 부담 자체를 공격

  • Kim 외, Not Only Rewards But Also Constraints (T-RO 2024). “자연스러운 스타일은 방대한 보상 엔지니어링의 산물”이라는 문제 인식을 논문 서두에 명시합니다. 우리 R01의 문제의식이 학계에 이미 정식화되어 있다는 증거예요. 스타일·안전 요구를 보상 대신 제약으로 넣어 계수 튜닝 부담을 줄입니다.
  • Margolis & Agrawal, Walk These Ways (CoRL 2022). 속도 과제가 해를 하나로 정하지 못한다는 사실을 결함이 아니라 자원으로 뒤집습니다. 걸음 파라미터(박자·자세·발 높이)를 명령으로 노출해 한 정책이 여러 걸음을 갖게 하죠. “미결정성”에 대한 가장 우아한 재해석입니다.
  • Ma 외, Eureka (2023). LLM이 환경 소스를 읽고 보상 코드를 진화적으로 탐색합니다. “보상 감사를 사람이 아니라 기계가 한다”의 극단이고, R01 6절 4번(자동 튜닝)의 실증입니다.

3. 그래서 빈 곳은 어디인가

우리 질문 기존 답 남은 틈
왜 발생하나 충분히 답 있음 (Skalse 이론, 보행 실무 계보) 없음 — 우리는 인용하는 입장
해결책 있나 네 계보가 있음 (A~D) 계보 간 비교·조합의 정량 데이터는 드묾
격차는 어디서 오나 항목별 절제는 개별 논문 부록에 산발적 “범용 프레임워크 기본값 vs 제조사 공식 스택” 단위의 체계적 분해는 못 찾음 — 08편의 자리
미리 알 수 있나 Pan 2022는 사후 이상 탐지 학습 전 명세 감사 → 병리 예측 → 검증은 상대적으로 빈 곳
제조사 설정의 계보학 없음 (블로그·구전 수준) 공개 설정의 통시 분석은 신규 소재

(뒤늦게 찾은 근접 선행) 논문 트랙에서 정밀 확인을 하다 Zhang 외, ICRA 2024를 찾았습니다. 4족·분산 위상 진동자 설정에서 위상 관측 × 위상 보상 × 피드백을 조합 절제한 연구로, “관측 없는 위상 보상은 비마르코프”라는 프레임까지 포함합니다. 09편에서 우리가 발견할 클록 관측 이야기는 이 계보의 확인·확장이지 단독 신규가 아닙니다. 이런 건 나중에 알수록 아프니, 실험 전에 검색하는 게 낫습니다.

정직한 경고 둘을 적어 둡니다.

  1. “속도 보상만으론 이상하게 걷는다”와 “클록을 넣으면 고쳐진다”는 그 자체로는 신규성이 없습니다 (Siekmann이 5년 전에 했어요). 우리 기여는 그 사실의 재발견이 아니라 분해의 정량화 + 사전 예측 프로토콜 + 제조사 스택이라는 비교 대상에 있어야 합니다.
  2. 이 지도는 1차 검색입니다. 논문 트랙에 들어가면 보상 설계 서베이류, 제약 RL의 보행 후속들, 휴머노이드 특화 최신 계열을 더 봐야 하고, 무엇보다 “reward audit”과 유사 개념의 선점 여부를 정밀 확인해야 합니다. 이게 제일 중요해요. 방법론 주장의 생사가 걸립니다.

4. 08편 실험과의 연결

문헌을 알고 나니 08편 사다리의 각 단에 선행 연구가 예측을 하나씩 걸어 줍니다.

  • 1단 feet_gait → Siekmann: 주기 명세로 박자가 잡힐 것 (빈도 2.85 → 1.25Hz 예측 유지)
  • 4단 energy → Fu: 에너지 벌점이 걸음을 더 “생물스럽게” 다듬을 것 (단, 평지 한정)
  • 대조 실험 하나 추가: 클록 없이 에너지만 키운 단을 만들면 “계보 A 대 계보 B 중 무엇이 잰걸음을 고치는가”라는 문헌 수준 질문에 우리 데이터로 답할 수 있습니다

마지막 항목은 실제로 사다리에 L5라는 이름으로 들어갑니다. 결과는 08편에서요.

다음 단계

이제 예측을 적고 학습을 돌립니다 → 08. 보상 절제 사다리

이 지도는 검색 기반 1차 조사(2026-09-04)이며, 인용 전 원문 정독을 거쳤습니다.