22편에서 정책은 이미지를 지운 뒤에야 지시문을 읽었습니다. 그러면 이미지를 어떻게 돌려줘야 할까요. 이 편은 손목 카메라를 두 가지 순서로 붙여 보고, 되묻는 주기를 바꿔 보고, 그래도 남는 실패의 자리를 지도에 찍어 본 뒤, 눈이 아니라 데이터를 어디에 더 넣느냐가 답이었다는 결말에 도착합니다.
손목 카메라라면 다를까요
22편의 지름길은 카메라에 팔이 보이기 때문에 생겼습니다. 팔이 어디로 가는지 보이면 다음 행동을 그냥 따라 하면 되니까요. 그러면 팔이 안 보이는 카메라는 어떨까요. 손목 카메라에는 팔이 없습니다. 손가락과 그 앞의 큐브만 보입니다. 지름길이 될 재료는 적고, 집는 순간을 다듬을 재료는 있습니다.
측면과 위 카메라는 회색으로 지우고 손목 카메라만 실제 영상을 넣어 처음부터 학습했습니다. 이 정책이 v13입니다. 결과는 학습 조합 25시행 중 8입니다. 이미지가 전혀 없던 22편의 v10이 19였으니 절반도 안 됩니다. 22편의 입력 교체 시험으로 보면 지시문을 바꿨을 때 행동 변화가 65배에서 29배로 줄었습니다. 손목 영상을 지우고 평가하면 3까지 떨어집니다. 손목 영상에 기대도록 배웠는데, 기댄 결과가 나쁩니다.
손목 카메라에 팔은 안 보여도 “큐브가 손가락에 얼마나 가까워졌는지”는 보입니다. 그게 곧 지금 몇 번째 단계인지를 알려 줍니다. 지름길의 재료는 손목에도 있었습니다.
순서를 바꾸면
처음부터 같이 주면 세 번(v8, v9, v13) 다 졌습니다. 그러면 순서를 바꿉니다. 이미지 없이 배워 지시문을 완전히 읽게 된 정책에서 출발해, 손목 영상을 붙인 데이터로 낮은 학습률로 조금만 더 배우게 합니다. 이미 지시문을 읽게 된 정책이 눈을 덧붙여 쓸지, 아니면 다시 지름길로 미끄러질지를 보는 겁니다. 이 정책이 v14입니다.
지시문 읽기는 지켜졌습니다. 같은 손목 데이터인데 처음부터 배운 v13은 29배, 나중에 배운 v14는 69배입니다. 손목 영상을 지우고 평가해도 62배라 눈에 기대게 되지도 않았습니다. 그리고 손목 영상을 넣어 평가해도 성적이 나빠지지 않습니다. 22편의 v11(프레임을 확률로 지운 정책)은 이미지를 보여 주면 오히려 나빠졌는데, 이번에는 그렇지 않습니다.
그런데 좋아지지도 않습니다. 경계에서 3cm 이상 안쪽인 장면 60개를 같은 배치로 두 번 굴렸습니다. 손목 영상을 넣으면 47, 회색을 넣으면 48. 손목으로만 성공한 장면이 2개, 회색으로만 성공한 장면이 3개입니다. 눈을 보긴 하되 쓰지 않는 상태입니다.
더 자주 되물으면
정책은 한 번에 1초 분량, 50스텝의 행동을 내놓고 그동안 다시 보지 않습니다. 집는 순간을 눈으로 다듬으려면 1초는 너무 길지 모릅니다. 재학습 없이 되묻는 주기만 10스텝으로 줄였습니다.
60장면에서는 손목 48, 회색 45로 손목이 3장면 앞섰습니다. 방향이 나온 것 같아 새 씨앗으로 조합당 20회, 120시행씩 다시 굴렸습니다. 손목 97, 회색 98. 손목으로만 성공 5, 회색으로만 성공 6. 앞의 3은 흔들림이었습니다. 자주 되물어도 손목 카메라는 아무것도 더해 주지 않습니다.
여기까지가 눈 이야기입니다. 처음부터 주면 언어를 잃고, 나중에 주면 무해하지만 무익합니다. 남은 실패는 눈으로는 안 줄어듭니다. 그러면 그 실패는 어디에 있을까요.
실패의 자리를 지도에 찍었습니다
이미지 없이 평가한 시행을 전부 모아, 지시한 큐브가 놓여 있던 자리에 성공과 실패를 찍었습니다.
실패는 두 띠에 몰려 있습니다. 로봇에서 먼 쪽 끝과, 로봇 몸통 바로 앞입니다. 22편에서 “작업공간의 양끝”이라고 뭉뚱그렸던 것이 지도에서 갈라졌습니다. 특히 몸통 앞 띠는 경계에서 3cm 이상 떨어진 장면까지 실패가 이어집니다. 네 판(v10, v12, v14 손목, v14 회색)을 다 돌려도 전부 실패한 장면 7개 중 대부분이 이 띠에 있습니다.
전문가 데이터부터 의심했습니다. 몸통 앞은 학습 데이터에 232편으로 적지 않습니다. 파지 자세는 팔꿈치를 다른 곳보다 깊이 접지만 관절이 한계에 걸리지도 않고, 같은 자리에 손을 두는 팔 자세가 여러 갈래로 갈리지도 않습니다. 전문가 쪽엔 문제가 없습니다.
그러면 정책 쪽입니다. 학습에 쓴 몸통 앞 장면 12개를 학습 때 본 그대로 재현해 굴렸습니다. 12/12. 관절 궤적이 전문가와 0.01라디안 안에서 겹치고 손끝은 큐브에서 0.7cm 안에 옵니다. 학습 장면에서는 됩니다. 새 장면에서만 안 됩니다. 구역이 어려운 게 아니라, 그 구역에서 새 장면으로 번지지 않는 겁니다.
일반화 반경
학습 장면에서 큐브만 1, 2, 3, 5cm 옮겨 굴려 봤습니다. 학습 장면 주변 어디까지 맞는지, 그 반경을 재는 겁니다.
가운데 구역은 5cm를 옮겨도 10/10입니다. 몸통 앞은 3cm에서 9/10, 5cm에서 6/10입니다. 같은 수의 데이터로 배웠는데 구역에 따라 일반화 반경이 다릅니다. 팔꿈치를 깊이 접는 자세에서는 큐브가 조금만 움직여도 관절이 크게 달라져야 해서, 같은 간격의 표본이 더 성기게 느껴지는 것으로 봅니다.
그렇다면 처방은 눈이 아니라 그 구역의 표본 밀도입니다. 몸통 앞 구역에서만 장면 300개, 지시문 다섯 개씩 1,500편을 더 모아 기존 데이터와 합치고, v14와 같은 방식으로 조금만 더 배우게 했습니다. 이 정책이 v15입니다.
| v14 (증량 전) | v15 (몸통 앞 증량 후) | |
|---|---|---|
| 전체 작업공간 30시행 | 19/30 | 25/30 |
| 경계 3cm 안쪽 60장면 | 48/60 | 54/60 |
| 몸통 앞 구역 60장면 | 42/60 | 48/60 |
| 몸통 앞 반경 시험, 5cm | 6/10 | 8/10 |
| 지시문을 바꿨을 때 행동 변화 | 62배 | 77배 |
세 시험이 모두 올랐고, 반경이 늘었고, 지시문 읽기는 그대로입니다. 전체 작업공간 30시행의 25는 시즌 3에서 지시문을 직접 읽는 정책이 낸 최고 성적이고, 좌표를 공짜로 준 20편의 오라클(28)과 세 건 차이입니다.
전체 영상:
한 가지는 정직하게 적어 둡니다. 데이터가 1,000편에서 2,500편으로 늘었으니 “몸통 앞 밀도”의 효과와 “데이터 총량”의 효과가 섞여 있습니다. 먼 쪽 띠는 늘리지 않았는데 전체 성적이 오른 데는 총량 효과가 있을 겁니다. 그래서 먼 쪽 띠에도 같은 처방을 따로 걸어 보고 있습니다. 결과는 다음 편에 적겠습니다.
이번 편에서 남은 것
- 손목 카메라도 지름길이 됩니다. 팔은 안 보여도 “큐브까지 얼마나 가까운가”가 단계를 흘립니다. 처음부터 같이 주면 언어 반응이 65배에서 29배로 줄고 성적은 반토막입니다.
- 순서를 바꾸면 언어를 지킵니다. 이미지 없이 먼저 배우고 나중에 눈을 덧붙이면 69배를 유지하고, 눈을 보여 줘도 나빠지지 않습니다. 다만 좋아지지도 않습니다. 240시행에서 손목 97, 회색 98.
- 남은 실패는 자리에 있습니다. 로봇 몸통 앞과 먼 쪽 끝. 학습 장면에서는 되는데 새 장면으로 번지지 않는 구역이고, 그 구역의 일반화 반경은 가운데의 절반 이하입니다.
- 그 구역의 표본을 늘리자 반경이 늘고 성적이 모든 시험에서 올랐습니다. 눈이 답이 아니라 데이터를 어디에 더 넣느냐가 답이었습니다.
- 어디서 실패하는지를 지도에 찍는 것이 처방을 정합니다. 성공률 하나로는 “눈이 부족하다”와 “그 자리가 어렵다”를 구분할 수 없었습니다.
로봇은 여전히 눈을 감고 있습니다. 대신 어디가 어두운지는 이제 압니다. 다음 편은 먼 쪽 띠에 같은 처방을 걸어 대칭을 맞추고, 시즌 3를 어디까지 왔는지 정리합니다.
이 시리즈의 전체 글 목록 → 시리즈 목차