이 시리즈는 겉보기엔 “시뮬레이터로 휴머노이드를 걷게 만든 기록”입니다. 그런데 다 읽고 나면 로봇보다 AI를 다루는 감각이 더 많이 남도록 짜여 있습니다. 어떤 AI적 요소가 어디에 숨어 있는지, 그리고 이 지식으로 무엇을 할 수 있게 되는지를 먼저 밝혀 둡니다.
1. 로봇의 뇌는 신경망입니다
이 시리즈의 로봇을 조종하는 것은 사람이 짠 규칙이 아니라 신경망입니다. 매 0.02초마다 몸의 상태(기울기·관절각·속도)와 명령을 숫자 수십 개로 받아, 관절 목표각 수십 개를 뱉는 함수죠. 04~05편에서 사람이 직접 짠 보행 규칙은 2.2초 만에 넘어지고, 06편에서 학습된 신경망은 걷습니다. “명시적으로 프로그래밍하기 vs 학습시키기” — AI라는 분야의 가장 근본적인 갈림길을, 넘어지는 로봇과 걷는 로봇의 대비로 체험하게 됩니다.
2. 강화학습 — 정답 없이 점수표만 주고 가르치기
06편부터는 강화학습(RL)입니다. “이렇게 걸어라”라고 알려주지 않고, “잘 걸으면 점수를 준다”는 채점표만 주면, 4096개의 가상 로봇이 동시에 수천만 번 넘어지며 스스로 걷는 법을 찾아냅니다. 정책·관측·행동·보상 같은 RL의 기본 용어와, 보상 곡선을 읽고 “언제 멈출지”를 판단하는 실전 감각이 여기서 쌓입니다.
3. 보상 설계 — AI에게 목표를 말하는 일의 어려움
이 시리즈의 가장 깊은 AI 주제입니다. 10편에서 우리는 “잘 걷는 줄 알았던” 로봇이 사실 초당 16번 잔발을 치며 미끄러지는 셔플이었음을 발견합니다. AI는 우리가 원하는 것이 아니라 우리가 채점하는 것을 최적화하기 때문입니다. 채점표의 빈틈을 찾아내는 이 현상 (보상 해킹)은 로봇만의 문제가 아니라, 챗봇이 “도움이 된 것처럼 보이는 답”을 배우는 문제와 같은 뿌리입니다 — 요즘 말하는 AI 정렬(alignment) 문제의 눈에 보이는 축소판이죠. 연구 노트 R01이 이 주제를 역사적 사례와 함께 다룹니다.
4. 경험 설계 — 무엇을 겪게 하느냐가 능력을 만든다
명령을 계속 바꿔주면 조종을 배우고(08편), 계속 밀치면 회복을 배우고(09편), 계단을 조금씩 높이면 처음엔 불가능했던 높이까지 오릅니다(18편). 도메인 랜덤화와 커리큘럼 학습이라는 이름이 붙은 이 기법들의 공통 원리는 하나입니다: AI의 능력은 채점표 절반, 학습 중 겪는 경험의 분포 절반으로 만들어진다. 그리고 가끔은 시키지 않은 능력이 공짜로 나타납니다 — 아무도 채점하지 않았는데 사람과 같은 위상으로 팔을 흔들기 시작한 14편이 그 순간입니다.
5. 검증 — AI의 성공 보고를 믿는 법
시리즈 후반(10·17편, R02·R03)의 진짜 주제는 이것입니다. 그럴듯한 영상과 그럴듯한 숫자는 성공의 증거가 아닙니다. 우리는 가짜 걸음에 한 번, 가짜 계단 등반에 한 번 속을 뻔했고, 두 번 다 “저거 진짜 맞아?”라는 의심 덕분에 살았습니다. 측정 도구를 검증하고, 씨드를 바꿔 재현하고, 1회 판정을 반복 시험으로 바꾸는 과정에서, AI 실험 결과를 다루는 기본기가 쌓입니다.
이 지식은 결국 어디에 쓰이는가
다섯 가지를 관통하는 공통점이 있습니다. 전부 “AI에게 일을 시키는 쪽”의 기술이라는 점입니다. 신경망의 수식을 유도하는 능력이 아니라 —
- 목표를 채점표로 옮길 때 무엇이 새는지 아는 감각 (3번)
- 어떤 경험을 시켜야 원하는 능력이 나오는지 아는 감각 (4번)
- 성공 보고를 받았을 때 무엇을 되물어야 하는지 아는 감각 (5번)
이건 로봇 RL에만 통하는 지식이 아닙니다. AI 도구에게 일을 맡기고, 결과를 보고받고, 그 결과를 믿을지 판단해야 하는 모든 상황 — 그러니까 AI와 협업하는 모든 일에 그대로 적용됩니다. 이 시리즈가 로봇을 걷게 만든 기록인 동시에, 그 협업의 감각을 기르는 연습 문제집이 되기를 바랍니다. (그 감각을 질문 기술로 번역한 실습편은 부록. AI와 함께 따라 하기에 있습니다.)
읽는 순서는 이 글 다음, 00. 환경 구축부터 번호 순서대로입니다. 전체 글 목록은 시리즈 목차에서 볼 수 있습니다.