이번 단계 목표: 지금까지 최고 속도는 0.6m/s(느긋한 산책)였습니다. 전진 명령 상한을 1.2m/s로 올려 빠르게 걷게 하고, 14편에서 남긴 예측 — “빨리 걸으면 각운동량 상쇄 필요량이 늘어 팔 스윙이 커질 것” — 을 검증합니다. 1.0m/s에서 보폭은 78.6cm로 늘었고, 같은 정책의 팔 스윙 진폭은 0.4m/s 때의 2.3배가 됐습니다.
구성: 명령 범위 한 줄
14편(arms, 18관절) 설정에서 바꾼 것은 명령 범위 한 줄입니다:
command_cfg["lin_vel_x_range"] = [0.0, 1.2] # 0.6 → 1.2 m/s
08편의 교훈 그대로 — 빠른 속도를 명령 분포에 넣으면 정책이 빠르게 걷는 법을 배웁니다. 학습은 arms 정책에서 이어 학습(--resume_from)으로 시작해, ‘걷기’가 아니라 ‘빨리 걷기’만 추가로 배우게 했습니다(15편에서 익힌 기법). 이렇게 학습한 판을 fast라 부릅니다.
cd scripts/train
python g1_train.py --task fast --max_iterations 3000 --resume_from logs/g1-arms/model_2999.pt
python g1_eval.py --task fast --ckpt 5998 --record # 1.0 m/s 직진 (이어 학습 번호)
python g1_gait_metrics.py -e g1-fast --ckpt 5998 --vx 1.0
결과
학습 후(보상 20.9 수렴, 에피소드 최대), 1.0m/s 명령으로 10초에 9.49m를 직진했습니다 (선 자세에서 출발해 잰 경로 길이라 가속 구간이 들어 있습니다). 걸음이 어떻게 달라졌는지 14편 arms 정책과 견주면 다음과 같습니다. 걸음 박자는 10편부터 쓴 위상 클록, 곧 박자를 알려 주는 시계 신호가 정합니다.
| 지표 | 0.4 m/s (14편 arms 정책) | 1.0 m/s (16편 fast 정책) | 해석 |
|---|---|---|---|
| 걸음 빈도 | 1.25 Hz | 1.25 Hz | 박자 유지 (위상 클록 그대로) |
| 보폭 | 30cm | 78.6cm | 성큼성큼 — 속도를 보폭으로 낸다 |
| 양발 동시 접지 | 22% | 11% | 사람도 빨리 걸으면 줄어드는 값 |
| 무릎 가동범위 | ~55° | ~62° | 더 크게 굽힘 |
| 발 들림 | 7~8cm | 8.3~8.9cm | 유지 |
그리고 14편의 예측이 맞았습니다. 같은 fast 정책에게 두 속도를 시켜 팔을 재 보면:
| 전진 속도 (fast 정책) | 어깨 스윙 진폭 | 왼어깨↔오른엉덩이 위상 상관 |
|---|---|---|
| 0.4 m/s | ±2.6° | +0.66 |
| 1.0 m/s | ±5.9° | +0.95 |
위 표의 0.4m/s는 14편 arms 정책이 아니라 이번 fast 정책입니다. 14편 arms 정책은 0.4m/s에서 ±5°·+0.92였습니다. 이어 학습 뒤에는 느린 걸음의 팔 스윙이 오히려 작아진 셈입니다.
같은 정책 안에서 속도 2.5배에 팔 스윙 진폭 2.3배, 위상 결합은 +0.95로 거의 완벽해집니다. 다리가 빨라질수록 팔이 더 크게, 더 정확한 박자로 흔들리는 관계가, 여전히 “팔을 흔들어라”는 채점 없이 나왔습니다. 각운동량 상쇄로 설명되는 방향이지만, 각운동량은 따로 재지 않았고 정책 하나, 실행 한 번의 상관입니다.
전체 영상:
회고
- 속도는 보폭에서 나온다. 박자(1.25Hz)가 클록으로 고정돼 있으니, 정책은 속도를 걸음 빈도가 아니라 보폭(30→78.6cm)으로 냈습니다. 사람은 속도에 따라 빈도도 올리므로, 다음 개선이 있다면 ‘속도에 따라 변하는 클록’입니다 — 고정 클록의 한계를 직접 확인한 셈입니다. 정책이 클록 신호를 고쳐 지형과 명령 속도에 따라 걸음 빈도를 바꾸게 한 연구도 있습니다 (Singh 외, Robust Humanoid Walking on Compliant and Uneven Terrain with Deep Reinforcement Learning).
- 가설 → 예측 → 검증의 한 사이클. 14편에서 “빠르면 팔이 커질 것”이라 예측을 남겼고, 이 편에서 실험으로 확인했습니다. 채점표 튜닝의 연속처럼 보였던 이 시리즈가 결국 하나의 실험 과학 사이클로 완성되는 순간입니다.
다음: 17. 계단 오르기
이 시리즈의 전체 글 목록 → 시리즈 목차