Isaac Lab으로 휴머노이드 강화학습

NVIDIA Isaac Sim과 Isaac Lab으로 Unitree G1을 걷게 만든 기록입니다. 전 15편이고, 앞에서부터 순서대로 읽도록 짜여 있습니다. 각 편은 실행한 명령과 실측한 숫자를 그대로 싣고, 예측이 빗나간 것도 빗나간 대로 적었습니다.

이 시리즈는 Genesis 시즌 1의 후속입니다. 같은 로봇, 같은 목표를 다른 도구로 하면서 도구를 바꿔야만 보이는 것을 봅니다. 시즌 1을 안 보셨어도 괜찮습니다. 필요한 대목마다 링크를 걸어 뒀습니다.

시작하기 전에

NVIDIA 스택의 이름부터 정리하고, 로봇을 세우는 데까지.

00. 환경 구축 — Isaac Sim이라는 무거운 입장료 Omniverse·Isaac Sim·Isaac Lab이 각각 뭔지, 전용 환경 만들기, 첫 실행에서 만난 15분짜리 함정.
01. Isaac Lab 기본 구조 — 손으로 짰던 것들의 정리함 설정 클래스 문화와 매니저 구조. 시즌 1에서 손으로 짠 것들이 여기선 공식 문법입니다.
02. G1 불러오기 — 같은 로봇인데 관절이 8개 더 있습니다 내장 G1 에셋의 관절 37개, 시즌 1의 29개와 대조. 그리고 기본 설정으로는 서 있지도 못합니다.
03. PD 제어로 자세 유지 — 안정 경계는 어디에 있나 로봇 네 대로 게인 축을 훑어 안정 경계를 실측하고, 첫 영상을 뽑습니다.

학습 버튼을 누르기 전에 채점표부터 읽고, 결과는 영상이 아니라 자로 판정합니다.

04. 내장 보행 환경 해부 — 남이 만든 채점표 읽는 법 관측 123차원과 보상 16항목을 항목별로 대조하고, 학습 전에 병리를 예측해 둡니다.
05. 평지 보행 학습 — 49분 만에 걷기, 그런데 잘 걷나? 학습 곡선의 3막 구조. 안 넘어지기는 5분, 나머지 44분은 다듬기입니다.
06. 걸음 품질 측정 — “그거 진짜 걷는 거 맞아?”를 이번엔 처음부터 걸음을 수치로 재니 잰걸음에 절뚝임. 04편의 예측이 그대로 맞았습니다.
07. 조종 시나리오 — 16초 완주와 Phase B 결산 전진과 좌우 회전을 완주하고 중간 결산. 그리고 계획에 없던 질문이 하나 붙습니다.

튜토리얼과 별도로, 주제를 깊게 파는 글입니다. 3부 실험의 설계도에 해당합니다.

R01. 범용 보상과 제조사 보상 사이 — 같은 로봇인데 왜 걸음이 다른가 프레임워크 기본 설정과 로봇 제조사 공식 설정을 코드 수준에서 해부합니다.
R02. 문헌 지도 — 우리가 겪은 일은 뭐라고 불리나 이 현상이 학계에서 이미 알려진 것인지, 해결책 네 갈래와 남은 틈.

제조사의 공식 보상을 우리 환경으로 옮기는 실험 연작입니다. 모든 실험에서 결과를 보기 전에 예측을 적고 채점했습니다. 최종 전적은 29전 19승입니다.

08. 보상 절제 사다리 — 항목을 하나씩 옮겨 봤습니다 공식 항목을 한 칸씩 얹으며 재학습. 박자 보상은 네 번 연속 무시당합니다.
09. 보이지 않는 심판 — 정책이 채점 기준을 못 볼 때 용의자 넷을 지우다 찾은 진범. 보상을 한 글자도 안 바꾸고 숫자 둘을 관측에 더했더니 걸음이 바뀝니다.
10. 이식 실패의 분해 — 공식 보상을 통째로 옮기면 왜 조각상이 되나 12칸을 만들어 원인을 쪼갭니다. 같은 항목이 로봇이 바뀌면 “걷기 세금”이 되는 장면.
11. 시간이라는 성분 — 우리가 몰랐던 33배 원판은 50,000번을 학습합니다. 예산을 늘리자 조각상이 걷기 시작했습니다.

로봇을 걷게 만드는 절차보다, AI에게 목표를 말하는 일의 어려움이 더 많이 남도록 짰습니다.

다음 시즌에서는 로봇에게 지형을 보는 눈을 줍니다. 높이맵 관측과 계단입니다.