센서가 다르면
로봇의 상태를
어떻게 맞춰야 할까

01

세 Shorts가 만든 하나의 질문

8월 9일 카메라 영상은 픽셀이 색과 모양을 담는 2차원 관측임을 보여 줬다. 깊이 카메라는 같은 장면에 거리 축을 더하지만, 그 값은 미터인지 센서 단위인지 먼저 확인해야 한다. IMU는 가속도와 회전을 빠르게 내놓지만 중력과 바이어스가 섞인다. 셋을 합치려면 캘리브레이션으로 기준을 맞추고, timestamp와 frame을 붙인 뒤에야 한 시점의 상태라고 부를 수 있다.

02

내가 지금 이해한 것과 아직 모르는 것

현재 수업은 7단계 ‘로봇에게 행동을 학습시키기’ 초입이지만, 관측이 흔들리면 정책 학습도 흔들리므로 4단계 센서 기초를 다시 연결하는 중이다. 캘리브레이션은 센서의 왜곡과 장착 위치를 기준에 맞추는 과정이고, 센서 융합은 여러 측정을 같은 좌표·시간의 상태로 합치는 일이다. 내 학습 기록에서는 RGB-D 집기를 시뮬레이션 조건으로만 구분해 적었다. 실제 카메라 내부값, RGB-depth 정렬, IMU 바이어스는 아직 내 장비에서 확인하지 못했다.

다음 수업·실습: 고정된 마커와 알려진 거리를 놓고 카메라 픽셀→깊이→로봇 좌표를 순서대로 계산한다. 같은 구간의 IMU timestamp를 겹쳐 보고, 단위를 바꾸거나 한 센서 지연을 넣었을 때 상태 오차가 얼마나 커지는지 기록하겠다.

03

11월까지의 계획과 숙련자용 질문

11월까지의 계획: 먼저 시뮬레이션에서 센서별 단위·frame·timestamp 계약을 고정하고, 다음으로 보정 전후의 위치 오차와 drop/skew를 같은 평가표에 남긴다. 실물에서는 저속·저위험 조건에서 한 센서씩 검증한 뒤에만 관측을 학습 데이터와 제어 입력으로 확장한다. 교육은 계속 진행 중이며, DAPIER는 내가 배운 내용을 정리해 가는 개인 학습 레포로 계속 자라난다.

숙련자 질문은 데이터 계약이다. 카메라·깊이·IMU의 단위, frame, timestamp 허용 지연과 안전 한계를 어떤 버전으로 묶어야 오래된 관측을 학습·행동에 섞기 전에 자동으로 거부할 수 있을까?