이 시리즈는 겉보기엔 “시뮬레이터로 휴머노이드를 걷게 만든 기록”입니다. 그런데 다 읽고 나면 로봇보다 AI를 다루는 감각이 더 많이 남도록 짜여 있습니다. 어떤 AI적 요소가 어디에 숨어 있는지, 그리고 이 지식으로 무엇을 할 수 있게 되는지를 먼저 밝혀 둡니다. 다섯 절은 걷기를 다룬 18편까지의 이야기이고, 19편부터 이어지는 말과 카메라로 시키는 로봇 이야기는 그 뒤에 한 절로 따로 적었습니다.
1. 로봇의 뇌는 신경망입니다
이 시리즈의 로봇을 조종하는 것은 사람이 짠 규칙이 아니라 신경망입니다. 0.02초마다 몸의 상태(기울기·관절각·속도)와 명령을 숫자 수십 개로 받아, 관절 목표각 십여 개를 내놓는 함수입니다. 05편에서 손으로 짠 보행은 시작 2.2초(걷기 시작 1.2초) 만에 넘어지고, 06편에서 학습된 신경망은 걷습니다. “명시적으로 프로그래밍하기 vs 학습시키기” — AI라는 분야의 가장 근본적인 갈림길을, 넘어지는 로봇과 걷는 로봇의 대비로 체험하게 됩니다.
2. 강화학습 — 정답 없이 점수표만 주고 가르치기
06편부터는 강화학습(RL)입니다. “이렇게 걸어라”라고 알려주지 않고, “잘 걸으면 점수를 준다”는 채점표만 주면, 4096개의 가상 로봇이 동시에 수천만 번 시행착오를 거치며 스스로 걷는 법을 찾아냅니다. 정책·관측·행동·보상 같은 RL의 기본 용어와, 보상 곡선을 읽고 “언제 멈출지”를 판단하는 실전 감각이 여기서 쌓입니다.
3. 보상 설계 — AI에게 목표를 말하는 일의 어려움
이 시리즈의 가장 깊은 AI 주제입니다. 10편에서 우리는 “잘 걷는 줄 알았던” 로봇이 사실 초당 16번 잔발을 치며 미끄러지는 셔플이었음을 발견합니다. AI는 우리가 원하는 것이 아니라 우리가 채점하는 것을 최적화하기 때문입니다. 채점표의 빈틈을 찾아내는 이 현상 (보상 해킹)은 로봇만의 문제가 아니라, 챗봇이 “도움이 된 것처럼 보이는 답”을 배우는 문제와 같은 뿌리입니다 — 요즘 말하는 AI 정렬(alignment) 문제의 눈에 보이는 축소판입니다. 연구 노트 R01이 이 주제를 역사적 사례와 함께 다룹니다.
4. 경험 설계 — 무엇을 겪게 하느냐가 능력을 만든다
명령을 계속 바꿔주면 조종을 배우고(08편), 계속 밀치면 회복을 배우고 (09편), 계단을 조금씩 높이면 처음엔 불가능했던 높이까지 오릅니다(18편). 도메인 랜덤화와 커리큘럼 학습이라는 이름이 붙은 이 기법들의 공통 원리는 하나입니다: AI의 능력은 채점표 절반, 학습 중 겪는 경험의 폭 절반으로 만들어진다. 그리고 가끔은 시키지 않은 능력이 공짜로 나타납니다 — 팔 흔들기를 채점하지 않았는데(대칭 보상이 거든 몫은 있습니다) 사람과 같은 위상으로 팔을 흔들기 시작한 14편이 그 순간입니다.
5. 검증 — AI의 성공 보고를 믿는 법
시즌 1 후반(10편·17편, R02·R03)의 진짜 주제는 이것입니다. 그럴듯한 영상과 그럴듯한 숫자는 성공의 증거가 아닙니다. 우리는 가짜 걸음에 한 번, 가짜 계단 등반에 한 번 속을 뻔했고, 두 번 다 “저거 진짜 맞아?”라는 의심 덕분에 살았습니다. 측정 도구를 검증하고, 씨앗(학습의 무작위 수를 정하는 시작값)을 바꿔 다시 돌려 보고, 1회 판정을 반복 시험으로 바꾸는 과정에서, AI 실험 결과를 다루는 기본기가 쌓입니다.
19편부터 — 말과 카메라로 시키는 로봇
위 다섯 절은 걷기를 다룬 18편까지를 기준으로 썼습니다. 19편부터 시작하는 시즌 3에서는 과제가 통째로 바뀝니다. 걷기가 아니라 테이블 위 큐브를 집어 받침에 올리는 일, 강화학습이 아니라 모방학습(정답 시연을 보여 주고 따라 하게 하는 방식), 관절 숫자가 아니라 카메라 영상과 문장입니다. 카메라 이미지와 사람 말을 받아 행동을 내놓는 모델, VLA (Vision-Language-Action)를 집에 있는 GPU 한 장으로 학습시키고 평가합니다.
AI다운 부분은 여기서 더 드러나지만, 배우는 감각은 다섯 절과 같은 결입니다. 첫 정책은 loss(학습 중 정답과의 차이)가 100배 떨어졌는데 성공률이 0/30이었고, 앞에서 배운 “영상은 검증이 아니다”는 “loss는 검증이 아니다”가 됐습니다. 정책은 이미지 속 팔 자세를 따라 하는 지름길을 찾아 지시문을 듣지 않았고, 언어를 정말 듣는지는 성공률이 아니라 입력을 바꿔 넣어 보는 시험으로 가렸습니다 (22편). 어휘를 늘리자 무너진 성적의 원인을 두 번 잘못 짚었는데, 두 번 다 정책이 아니라 잣대가 틀려서였습니다(26편). 그 밖에 손목 카메라 영상으로 좌표를 고쳐 주는 작은 망(25편), 시즌 1의 G1에게 말로 걷게 하기(27편), 70억 파라미터 VLA로 체급 올리기(28편)로 이어집니다.
이 지식은 결국 어디에 쓰이는가
다섯 가지를 관통하는 공통점이 있습니다. 전부 “AI에게 일을 시키는 쪽”의 기술이라는 점입니다. 신경망의 수식을 유도하는 능력이 아니라 —
- 목표를 채점표로 옮길 때 무엇이 새는지 아는 감각 (3절)
- 어떤 경험을 시켜야 원하는 능력이 나오는지 아는 감각 (4절)
- 성공 보고를 받았을 때 무엇을 되물어야 하는지 아는 감각 (5절)
이건 로봇 RL에만 통하는 지식이 아닙니다. AI 도구에게 일을 맡기고, 결과를 보고받고, 그 결과를 믿을지 판단해야 하는 모든 상황 — 그러니까 AI와 협업하는 모든 일에 그대로 적용됩니다. 이 시리즈가 로봇을 걷게 만든 기록인 동시에, 그 협업의 감각을 기르는 연습 문제집이 되기를 바랍니다. (그 감각을 질문 기술로 옮긴 실습편은 부록. AI와 함께 따라 하기에 있습니다.)
읽는 순서는 이 글 다음, 00. 환경 구축부터 번호 순서대로입니다. 전체 글 목록은 시리즈 목차에서 볼 수 있습니다.