이 시리즈는 Genesis 시즌 1의 시즌 2입니다. 같은 로봇(Unitree G1), 같은 목표(강화학습으로 걷게 하기)를 이번엔 NVIDIA Isaac Sim + Isaac Lab으로 합니다. 재현이 목적이 아니라, 도구를 바꿔야만 보이는 것을 보는 게 목적입니다. 시작하기 전에 그게 무엇인지 밝혀 둡니다.
시즌 1이 남긴 숙제
시즌 1에서 우리는 강화학습만으로 G1을 걷게 하고, 밀쳐도 안 넘어지게 하고, 눈 없이 16cm 계단까지 오르게 했습니다. 대신 로드맵에 숙제를 적어 두고 끝냈습니다. 로봇에게 지형을 보는 ‘눈'(높이맵 관측)을 주면 어디까지 갈까? 실물로 가려면 어떤 랜덤화가 필요할까?
그걸 직접 구현하는 대신, 산업 표준 도구가 기본 기능으로 주는 환경에서 다시 시작해 보기로 했습니다. Isaac Lab은 지형 생성기·높이 스캐너·랜덤화 매니저를 프레임워크로 제공하거든요. 그래서 이번 시즌의 질문은 둘입니다.
- 강화학습만으로 어디까지 가능한가 (시즌 1에서 이어지는 기본 질문)
- 도구가 바뀌면 무엇이 쉬워지고 무엇이 어려워지는가 (시즌 2의 새 질문)
이번 시즌의 진짜 주제 — 남의 설정을 읽는 일
시즌 1에서는 보상 함수도, 관측도, 커리큘럼도 전부 우리가 손으로 짰습니다. 그래서 결과가 이상하면 우리 코드를 보면 됐어요.
Isaac Lab은 다릅니다. 환경이 남이 이미 튜닝해 둔 완성품으로 옵니다. 명령 한 줄이면 학습이 돌아가는데, 그 안의 보상 16개는 누가 왜 그렇게 정했는지 모르는 채로 굴러갑니다. 편한 만큼 위험합니다. 해부하지 않고 쓰면 아무것도 배우지 못하니까요.
그래서 이 시리즈의 절반은 “읽는 법”에 관한 이야기가 됩니다. 04편에서 내장 환경의 채점표를 통째로 덤프해 시즌 1의 손코딩과 항목별로 맞대 보고, 거기서 세운 예측 (“박자 보상이 없으니 잰걸음이 나올 것”)이 05~06편에서 실제로 맞아떨어집니다.
그리고 예상 못 한 곳으로 갔습니다
계획은 평지 보행을 재현하고 지형·계단으로 넘어가는 것이었습니다. 그런데 06편에서 걸음을 재 보니 로봇이 초당 세 번 종종거리고 있었고, “로봇 제조사(Unitree)가 공개한 공식 보상은 뭐가 다르길래?”라는 질문이 붙었습니다.
그 질문을 좇다가 시리즈가 08~11편이라는 네 편짜리 실험 연작으로 커졌습니다. 공식 보상 항목을 한 칸씩 옮기고, 통째로 옮기고, 학습 시간을 33배로 늘려 보는 과정입니다. 여기서 이 시리즈의 방법론이 생겼습니다: 결과를 보기 전에 예측을 먼저 적어 두고, 빗나가면 빗나간 대로 채점해서 기록하기. 최종 전적은 32전 19승이었고, 빗나간 13번이 이 시리즈에서 가장 많은 걸 가르쳐 줬습니다.
시즌 1의 교훈이 “AI는 우리가 원하는 게 아니라 채점하는 것을 최적화한다”였다면, 시즌 2의 교훈은 그 뒤에 붙습니다: 채점표는 항목의 목록이 아니라, 로봇·관측· 학습 절차·시간과 한 덩어리로 맞물린 물건이다. 항목만 베끼면 따라오지 않습니다.
읽는 순서
이 글 다음 00. 환경 구축부터 번호순입니다. 08~11편은 앞을 안 읽어도 따로 읽을 수 있게 썼지만, 06편의 걸음 측정만은 보고 오시면 훨씬 재밌습니다. 시즌 1을 안 보셨어도 괜찮습니다 — 필요한 대목마다 링크를 걸어 뒀습니다.
연구 노트 두 편(R01·R02)은 튜토리얼이 아니라 주제를 깊게 파는 글이고, 08편 실험의 설계도에 해당합니다.