Genesis 휴머노이드 시뮬레이션

물리 시뮬레이터 Genesis 위에서 휴머노이드 로봇 Unitree G1을 걷게 만들고, 그 걸음이 진짜인지 끝까지 의심해 본 기록입니다. 설치부터 시작해 강화학습, 조종, 외란 회복, 계단 오르기까지 순서대로 따라올 수 있게 썼습니다.

번호순으로 읽는 것을 권합니다. 앞 글의 결과를 뒤 글이 이어받는 구조라서, 중간부터 읽으면 “이 체크포인트는 어디서 났지?” 하는 대목이 나옵니다. 다만 연구 노트는 언제 읽어도 괜찮습니다.

이 시리즈의 시즌 2는 같은 로봇, 같은 목표를 NVIDIA Isaac Sim과 Isaac Lab으로 다시 하면서 도구를 바꿔야만 보이는 것을 봅니다. 목차는 Isaac Lab으로 휴머노이드 강화학습에 따로 있습니다.

5부(시즌 3)부터는 과제가 바뀝니다. 휴머노이드 걷기가 아니라 로봇 팔의 언어 지시 픽앤플레이스이고, 강화학습이 아니라 모방학습입니다. 앞부분과 독립적으로 읽을 수 있지만, 실험을 의심하는 방식은 그대로 이어집니다.

들어가며

서문. 이 시리즈의 AI는 어디에 있는가 — 이 시리즈를 읽으면 무엇을 할 수 있게 되는지, 그리고 AI와 함께 일한다는 게 실제로 어떤 모습인지.

물리 엔진을 처음 켜고, 로봇을 불러오고, 손으로 움직여 봅니다.

4096대의 로봇을 동시에 굴려 걷는 법을 학습시킵니다.

걷기만 하는 로봇에 조종기를 달고, 밀어도 안 넘어지게 만듭니다.

08. 방향 전환 — 걷는 로봇에 ‘조종기’ 달기 — 속도와 회전 명령을 따르게 만들기. 명령을 흔들어야 명령을 듣는다.
09. 외란 회복 — 밀어도 안 넘어지는 로봇 — 학습 중에 밀어 버리기 — 도메인 랜덤화로 강건함 얻기.
10. 제대로 된 걸음 — “그런데 저거, 진짜 걷는 거 맞아?” — “그런데 저거, 진짜 걷는 거 맞아?” 8Hz 종종걸음의 정체를 파헤칩니다.
11. 걸음과 강건함 — 두 마리 토끼 — 제대로 된 걸음과 넘어지지 않기, 두 마리 토끼를 함께 잡기.
12. 절뚝임 교정 — 대칭과 토크, 마지막 두 구멍 — 대칭 보상과 토크 페널티로 절뚝임을 잡는 과정.
13. 회전 게이트와 진짜 8cm — 남은 오차 청소 — 회전할 때만 대칭을 풀어 주는 게이트, 그리고 진짜 8cm 발 들림.

팔, 거친 땅, 빠른 속도, 그리고 계단.

개별 과제가 아니라 ‘왜 그런가’를 파고든 글들입니다.

걷기에서 팔로, 강화학습에서 모방학습으로. 카메라와 문장으로 로봇을 움직입니다.

19. 언어로 시키는 로봇 — 데이터 공장을 차리고, 보기 좋게 실패했습니다 — 데이터 공장을 차리고 첫 정책을 학습시켰더니 loss는 100배 떨어지고 성공률은 0.
20. 세 번 기각당한 가설 — “안 본다”에서 “봐도 못 읽는다”까지 — 데이터도, 모델 개방도, 카메라도 아니었다. 정책이 무엇을 보지 않기로 했는가.
21. 눈을 붙이다 — 평균은 멀쩡한데 꼬리가 망치고 있었습니다 — 지각을 만들어 붙이고, 학습 라벨의 꼬리를 잘라 오라클급에 도달하기까지.