RA-L Paper: Enhancing Generalizable 6D Pose Tracking of an In-Hand Object With Tactile Sensing

사례 연구

시각-촉각 통합을 통한 동적 그립 시나리오에서의 객체 6D 자세 추적

고객

측정 범위

적용 RA-L，모션 캡처，힘 및 촉각 감지, 센서 융합, 시각 추적

분석 대상

사용 장비

초록

객체의 정확한 6D 자세 추적은 로봇 조작 작업에서 매우 중요하며, 특히 핀 삽입과 같은 복잡한 조립 시나리오에서 더욱 그렇습니다. 전통적인 시각 추적 방법은 특히 로봇 손 작동이 포함된 시나리오에서 시각 정보의 차폐 및 노이즈에 의해 제한되는 경우가 많습니다. 본 논문에서는 칭화대학교 정보과학 간섭연구소의 이리 교수팀이 제안한 새로운 방법인 TEG-Track을 소개합니다. TEG-Track은 촉각 감지를 통합하여 일반화 가능한 6D 자세 추적 성능을 향상시키며, 팀은 실제 시나리오에서 손 안의 객체 자세 추적을 위한 최초의 완전 주석 시각-촉각 데이터셋을 구축했습니다. 데이터 수집 시스템에는 NOKOV 모션 캡처 시스템이 포함됩니다.

코드 및 데이터셋

GitHub: https://github.com/leolyliu/TEG-Track

인용

Y. Liu 외, "촉각 감지를 통한 손 안의 객체의 일반화 가능한 6D 자세 추적 향상," IEEE 로보틱스 및 자동화 레터, 제 9권, 제 2호, 페이지 1106-1113, 2024년 2월, doi: 10.1109/LRA.2023.3337690.

연구 배경

로봇 조작의 신뢰성은 손에 잡힌 객체의 운동 상태를 정확하게 인식하는 데 달려 있습니다. 기존의 6D 자세 추적 방법은 일반적으로 RGB-D 시각 데이터에 의존하며, 차폐 및 환경 충돌이 포함된 시나리오에서 성능이 저하됩니다. 반면, 촉각 센서는 접촉 영역의 기하학 및 운동 정보를 직접 감지할 수 있어 추적을 위한 추가 보조 신호를 제공합니다.

시스템 프레임워크

TEG-Track의 핵심은 기하학적 운동 최적화 전략을 통해 촉각 운동 신호를 사용하여 시각 자세 추적기를 향상시키는 것입니다.

데이터셋

합성 데이터셋은 ShapeNet 데이터셋에서 선택된 다양한 기하학적 형태의 객체 인스턴스를 포함하고 있으며, 실제 데이터셋은 5개 카테고리에서 17개의 서로 다른 객체를 포함하는 200개의 비디오로 구성됩니다. 데이터 수집 시스템은 로봇 팔, 촉각 센서, RGB-D 센서, NOKOV 모션 캡처 시스템 및 객체로 구성됩니다.

실험 결과

실험에서는 TEG-Track의 성능 향상을 세 가지 유형의 시각 추적기: 키포인트 기반 (BundleTrack), 회귀 기반 (CAPTRA), 템플릿 기반 (ShapeAlign) 추적기와 비교했습니다. 결과에 따르면 TEG-Track은 실제 데이터에서 평균 회전 오류를 21.4% 줄이고, 변환 오류를 30.9% 감소시켰습니다. 실제 데이터의 장거리 경로에 대한 정성적 결과는 손에 있는 객체의 예측된 자세와 실제 자세를 각각 나타내는 빨간색과 초록색 박스를 보여줍니다.

TEG-Track은 촉각 노이즈 패턴을 시뮬레이션하여 다양한 품질의 촉각 신호 하에서의 성능을 테스트했으며, 촉각 또는 시각 입력에만 의존하는 기준 방법에 비해 더 높은 안정성과 강인성을 보였습니다. TEG-Track은 다중 프레임 최적화 시나리오에서 초당 20 프레임의 처리 속도를 달성하였으며, 추가적인 계산 비용이 낮아 실시간 응용 프로그램에 적합합니다. NOKOV 모션 캡처 시스템은 예측된 자세와 비교하기 위해 객체의 실제 자세 정보를 얻는 데 사용됩니다.

저자 정보

공동 제1 저자: 윤 리우, 박사 과정 학생, 칭화대학교 정보과학 간섭연구소.
공동 제1 저자: 샤오멍 쉬, 칭화대학교 뉴야 대학.
교신 저자: 이리, 상하이 치즈 연구소의 수석 연구원 및 칭화대학교 정보과학 간섭연구소의 조교수. 연구 관심 분야는 3D 인식, 컴퓨터 그래픽스 및 구현된 인공지능입니다.