이번 단계 목표: 10편의 마지막 단서를 확인합니다. 원판은 50,000 iteration을 학습한다는 것. 같은 셀을 1,500에서 10,000으로 늘리자 조각상이 걷기 시작했고, 그 시점을 셀마다 재어 지도를 그렸습니다. 교차 평가의 진단이 어느 칸이 영원히 안 걷는지 미리 맞히는 장면과, 예측 장부의 마지막 반전까지 담습니다.
33배
우리 예산 1,500은 05편에서 정한 값입니다. 범용 스택은 150 iteration쯤에 넘어지지 않게 되고 1,000 전에 걸음이 안정됐으니 넉넉하다고 본 거죠.
그 기준으로 공식 스택의 이식을 판정하고 있었던 겁니다. 원판이 튜닝된 시간의 33분의 1 안에서. PPO 하이퍼파라미터는 거의 같았습니다(엔트로피 0.01 대 0.008, 네트워크 한 단계 차이). 다른 건 시간뿐이었어요.
실험 1 — 같은 셀, 지평만 늘리기
10편의 가장 완전한 셀(공식 보상 × 공식 로봇 × 커리큘럼 × 이벤트)을 1,500 체크포인트에서 10,000까지 이어 학습했습니다. 등록한 예측은 “정지 유지”였고 확신은 낮았습니다. 빗나갔습니다. 걷습니다.
| 1,500 iter | 10,000 iter | |
|---|---|---|
| 전진 | 0.00 m/s (정지) | 0.48 m/s (명령 0.5) |
| 걸음 | — | 2.0 Hz 대칭 보행 (접지 70/69%) |
| 몸통 높이 | 0.787 | 0.786 (공식 목표 0.78) |
| 파워 | 10 W | 68 W — 전 실험 최저 |
파워를 보세요. 걸으면서 68W는 이 시리즈에서 가장 낮은 값입니다. 실물 토크 한계 안에서 배운 걸음이 얼마나 다른지 보여주는 숫자예요.
영상:
학습 곡선에 탈출 시점이 찍힙니다. 커리큘럼이 ±0.4에서 정체하다 2,400쯤에서 다시 오르고, 정지로는 통과 못 하는 ±0.7을 2,833에서 넘고, 4,000쯤에 한계 ±1.0에 닿습니다. 우리 예산 1,500은 상전이 직전에서 끊고 있었던 겁니다.
개념 박스 — onset이라는 측정량 “걷나 서나”는 예산이 어디서 끊기느냐에 따라 뒤집히는 판정입니다. 셀의 진짜 속성은 보행 발현(onset) iteration이에요. 우리는 이걸 로그에서 계산하도록 미리 정의해 뒀습니다. 커리큘럼 셀은 명령 상한이 0.7 m/s(정지로는 못 넘는 값)에 처음 닿는 시점, 고정 범위 셀은 추종 보상률이 0.5/s를 세 번 연속 넘는 시점(정지 기준선은 0.31~0.36). 손으로 적은 수치가 아니라 스크립트가 로그에서 뽑습니다.
실험 2 — onset 지도, 진단이 예측이 되는 순간
10편의 교차 평가는 각 (로봇 × 보상) 조합이 걷기를 선호하는지 정지를 선호하는지 판별해 뒀습니다. 그 판별을 근거로 세 셀의 onset을 미리 예측하고 10,000까지 돌렸습니다.
| 셀 | 진단 (교차 평가) | 예측 | onset | 판정 |
|---|---|---|---|---|
| 공식 × 공식 로봇 + 커리큘럼·이벤트 | 최적화 한계 | (실험 1) | 2,833 | — |
| 공식 × 공식 로봇 (커리큘럼·이벤트 없음) | 최적화 한계 | 발현, 단 더 늦게 | 5,754 | 적중 |
| 공식 × 우리 로봇 (걷기 세금) | 정지 = 명세 선호 | 발현 없음 | 없음 | 적중 |
| 범용 × 공식 로봇 | (당시 미판별) | 발현 3~7k | 없음 | 빗나감 |
| 범용 × 우리 로봇 (05편) | 걷기 선호 | — | ~150 | — |
세 가지를 읽어냅니다.
- 진단의 예측력. “명세가 정지를 선호”로 판별된 유일한 칸은 지평을 6.7배로 늘려도 걷지 않았습니다(추종률 최대 0.41). 명세 문제는 최적화를 더 해도 안 풀립니다. 이 한 칸이 교차 평가를 “설명 도구”에서 “예측 도구”로 승격시킵니다.
- 커리큘럼과 이벤트는 필요조건이 아니라 가속기입니다. 없어도 걷지만(5,754), 있으면 절반 시점에 걷습니다(2,833).
- 범용 보상은 실물 액추에이션에서 10,000에도 못 걷습니다. 나중에 29관절 보행 정책으로 채점해 보니 범용 명세도 걷기를 초당 0.6~0.9점 선호하는데, 그래도 못 찾았어요. 05편의 150-iteration 발현은 보상의 성질이 아니라 300N·m 가공 토크의 성질이었던 겁니다. 유인이 크다고 발현이 빠르지는 않다는 것도 기록해 둡니다.
지도 전체로 보면 이렇습니다. 같은 실험을 1,500에서 끊으면 여섯 칸 중 한 칸이 걷고, 10,000에서 끊으면 네 칸이 걷습니다. 어느 칸이 뒤집히는지는 무작위가 아니라 진단이 가른 대로입니다.
실험 3 — 미이식 성분 둘, 그리고 마지막 반전
10편에서 안 옮긴 성분이 둘 남아 있었습니다. 공식 관측 스킴(정책에서 선속도 제거 + 5프레임 히스토리 + 특권 critic)과 액션 스케일(0.25)입니다. 각각 3개 seed, 1,500 예산에서 하나씩 얹어 봤습니다.
| 셀 (n=3) | 전진 | 커리큘럼 상한 | 넘어짐 종료 | 판정 |
|---|---|---|---|---|
| 기준 (공식 전부) | 정지 | ±0.4 | 29% | — |
| + 관측 스킴 | 미발현 (불안정 표류) | ±0.1 | 58% | 감속기 |
| + 액션 스케일 0.25 | 정지 | ±0.3 | 33% | 중립 |
관측 스킴은 가속기이기는커녕 서기조차 늦췄습니다. 입력이 96차원에서 480차원으로 커지자 넘어짐이 두 배가 되고 커리큘럼 관문을 한 번도 못 넘었어요.
그래서 마지막 실험을 걸었습니다. 이 셀을 10,000까지 이어 학습하면? 예측은 “걷되 기준 (2,833)보다 늦게, 4,000~8,000 사이”.
onset 4,166 — 적중. 그런데 발현 뒤가 재미있습니다. 관문 돌파부터 커리큘럼 한계까지 250 iteration입니다(기준은 1,166). 최종 추종은 +4%로 기준(−4%)보다 낫고요.
느린 시작, 빠른 마무리. 히스토리와 특권 critic은 서기를 배우는 동안엔 입력 차원의 비용만 내고, 걷기가 시작되면 이득을 주는 성분으로 보입니다(사후 가설입니다). 원판의 50,000 지평 에서는 초기 비용이 무시되고 후반 이득만 남는 거죠. 지평 공적응의 또 한 형태입니다.
예측 장부 총결산
이 시리즈는 08편부터 모든 실험 전에 예측을 적고 채점했습니다. 최종 전적은 사전 등록 29개 중 19 적중입니다(결과를 본 뒤 추가한 사후 예측 3개는 1승 2패로 따로 셉니다).
| 단계 | 예측 | 적중 | 빗나간 예측이 가리킨 것 |
|---|---|---|---|
| 사다리 파일럿 | 9 | 4 | 관측 가능성 (클록을 못 본다) |
| 다중 seed | 8 | 8 | — (파일럿의 재현) |
| 이식 팩토리얼 | 6 | 2 | 커리큘럼 해킹, 액추에이션, 지평 |
| onset 지도 | 3 | 2 | 실물 액추에이션에서의 느린 발현 |
| 미이식 성분 | 3 | 3 | — |
패턴이 보입니다. 방향은 명세를 읽으면 대체로 맞혔고, 크기와 시점은 계속 빗나갔으며, 빗나간 예측은 매번 보이지 않게 일하던 성분을 가리켰습니다.
요점은 이겁니다. 이건 보상 코드를 한 줄도 빠짐없이 읽은 사람이 낸 오답들이에요. 코드는 필요하지만 충분하지 않고, 정말 필요한 건 코드가 말하지 않는 것을 재는 도구였습니다. 정책이 뭘 보는가, 명세가 뭘 선호하는가, 걷기가 언제 시작되는가.
시즌 2의 결론
08~11편을 관통하는 문장은 이렇습니다.
보상 스택은 항목의 목록이 아니라, 관측·기체·커리큘럼·시간에 공적응된 하나의 덩어리다.
항목을 베끼면 나머지는 따라오지 않습니다. 격차는 네 조각으로 갈라졌어요.
- 구조를 안 바꿔도 만족되는 항목(들림·높이·에너지)은 이식됩니다.
- 박자 항목은 채점 변수(클록)를 정책이 볼 수 있어야 작동합니다.
- 통이식은 로봇에 따라 항목의 의미가 바뀌어(걷기 세금) 무너질 수 있고, 안 무너지는 칸도 학습 절차의 끌개(정지)에 걸립니다.
- 예산 자체가 성분입니다. 판정은 예산 조건부이고, 제조사의 50,000은 사치가 아닙니다.
실용적 결론은 짧습니다. 스택을 베끼지 말고 감사하세요. 다섯 가지를 물으면 됩니다.
- 각 품질 축을 채점하는 항목이 있는가?
- 정책이 그 채점 변수를 볼 수 있는가?
- 이 기체에서 항목의 비용이 달라지지 않는가?
- 커리큘럼 관문이 정지로 통과되지는 않는가?
- 예산이 그 스택의 onset을 넘는가?
그리고 이식을 판정하기 전에 양성 대조부터 돌리세요. 원판이 원판 조건에서 걷는 것을 먼저 확인하는 겁니다. 우리에겐 그게 가정한 예산의 33배가 걸렸습니다.
다음 시즌
이 네 편의 재료는 사전 등록·일탈 로그·seed별 결과와 함께 논문 초안으로 정리되어 있습니다 (저장소의 paper/). 원래 계획이었던 지형·높이맵 관측·계단은 다음 시즌으로 넘깁니다. 로봇에게 눈을 주는 이야기죠.
주장의 지위와 한계 로봇 한 쌍(G1 37관절/29관절), 프레임워크 하나, onset 지도는 단일 seed에 10,000 상한 (50,000은 미실행), onset은 로그 프록시로 측정했습니다. 관측 스킴의 10,000 실험도 seed 하나예요. 걸음 지표는 평지 직진 0.5 m/s 한 조건이고 외란 강건성은 재지 않았습니다. “가속기·감속기” 같은 표현에는 전부 “이 예산에서”라는 조건이 붙습니다.