Physical AI Lab | 009 로봇의 한 번의 시도를 학습 데이터로 믿으려면 무엇을 남겨야 할까

로봇이 한 번 움직였다는 사실만 저장하면 그 경험을 학습에 다시 쓸 수 있을까? 세 Shorts는 데이터 항목, 기록, TF·RViz 상태 확인을 이어 준다. 내 질문은 “관측과 행동을 어떤 계약으로 묶어야 한 번의 시도를 믿을 수 있을까?”다.

읽는 시간 5분관측 → 기록 → 정렬·검사

세 Shorts가 이어 준 한 번의 시도

8월 28일 영상은 관측·행동·결과를 함께 담아야 한다고 묻는다. 8월 15일 rosbag 영상은 이를 재생 가능한 기록으로 바꾸고, TF·RViz 영상은 관절과 센서의 좌표를 맞춰 본다. 항목을 정하고 → 시간순으로 저장하고 → 좌표와 품질을 확인하는 순서다.

내가 지금 이해한 것과 아직 모르는 것

현재는 7단계 ‘로봇에게 행동을 학습시키기’의 초입이다. Observation은 정책이 보는 영상·관절 상태, Action은 로봇에 보내는 명령, Episode는 초기화부터 성공·실패·중단까지 한 번의 시도다. 시각이 어긋나면 모델은 다른 순간의 명령을 정답으로 배운다.

공개 DAPIER 기록(2ARM_ROBOT/README.md, 6b784153)은 20Hz 합성 RGB-D topic, approximate-time recorder, timestamp gap·drop·shape·joint jump 검사와 accepted episode 질의를 보여 준다. 이는 hardware-free 계약이며 실제 카메라 stream, action 단위·joint order, 실물 성공률은 미확인이다.

다음 수업 전 확인: 합성 episode 하나의 `episode_id`, `t`, observation, action, outcome, frame, unit을 대조하겠다.

11월까지의 계획과 숙련자용 질문

11월까지의 계획: 합성 recorder와 품질 gate를 반복한 뒤 train/validation에서 누락·시간 skew·좌표 불일치를 재현하고, calibration과 저속 실습에서 실제 timestamp와 action 범위를 확인한다. 수업과 DAPIER는 진행 중이며 기록도 계속 자란다.

숙련자 질문은 데이터 계약이다. `state_t → action_t`와 `state_t → action_{t+1}` 중 무엇을 고정할지, timestamp 허용 오차·단위·frame·safety stop 분리를 어디서 검사할지 정해야 한다. 성공률 외에 누락률·지연·limit violation도 평가해야 한다.

SOURCES

연결한 Shorts와 기록 경계

교육은 2026년 11월까지 진행 중이다. DAPIER는 내가 배운 내용을 정리해 가는 개인 학습 레포이며, 공개된 2ARM_ROBOT README의 합성 episode 계약과 품질 검사 범위만 근거로 삼았다. 비공개 메모·URL·개인 경로는 넣지 않았고, 실물 센서·실제 episode·정책 성능은 미확인이다.

로봇의 한 번의 시도를학습 데이터로 믿으려면무엇을 남겨야 할까

세 Shorts가 이어 준 한 번의 시도

내가 지금 이해한 것과 아직 모르는 것

11월까지의 계획과 숙련자용 질문

연결한 Shorts와 기록 경계

로봇의 한 번의 시도를
학습 데이터로 믿으려면
무엇을 남겨야 할까