Robust-Multi-Stereoscopic-Visual-Inertial-Odometry-for-Local-Visually-Challenging-Scenarios

사례 연구

노스웨스턴 폴리테크닉 대학교의 RA-L 논문: 여러 대의 스테레오 카메라를 통합하여 측위 정확도와 계산 부하의 균형을 맞춘 VIO 시스템

고객

측정 범위

적용 RA-L, 다중 스테레오 카메라, VIO 시스템, UAV, 모션 계획

분석 대상

사용 장비

논문 제목은 "RMSC-VIO: 노스웨스턴 폴리테크닉 대학교의 무인 시스템 기술 연구소의 장 통 교수가 저술한 '로컬 시각적으로 까다로운 시나리오를 위한 강력한 멀티 스테레오스코픽 시각 관성 주행 거리 측정'이라는 논문이 IEEE 로봇 공학 및 자동화 레터스(RA-L)에 채택되었습니다.

인용: T. Zhang, J. Xu, H. Shen, R. Yang 및 T. Yang, "RMSC-VIO: 로컬 시각적으로 까다로운 시나리오를위한 강력한 다중 스테레오스코픽 시각 관성 주행 거리 측정," IEEE 로봇 공학 및 자동화 편지, 9 권, no. 5, 4130-4137쪽, 2024년 5월, 도이: 10.1109/LRA.2024.3377008.

소개

로봇이 자율성을 확보하기 위해서는 정확한 자기 위치 파악이 필수적입니다. 일부 시각 관성 주행 거리 측정(VIO) 알고리즘은 이미 공개된 데이터 세트에서 높은 정밀도와 안정적인 상태 추정을 달성했지만, 단일 단안 또는 스테레오 카메라에 의존하기 때문에 시각적으로 까다로운 환경에서는 그 기능이 제한적입니다. 한편, 추가 센서를 도입하거나 멀티 카메라 VIO 알고리즘을 사용하면 계산 요구 사항이 크게 증가합니다.

연구 요약

1. 여러 대의 스테레오 카메라를 통합하고 시각적으로 까다로운 시나리오에서 뛰어난 견고성을 발휘할 수 있는 멀티 스테레오스코픽 VIO 시스템을 제안합니다.

2. 시각적 특징의 상태 정보를 반복적으로 업데이트하고 고품질 이미지 특징점을 필터링하며 멀티 카메라 시스템의 계산 부담을 줄여주는 적응형 특징 선택 방법이 제안됩니다.

3. 다양한 이미지 특징점의 품질에 따라 최적화 가중치를 할당하는 적응형 밀접 결합 최적화 방법을 제안하여 시스템의 위치 정확도를 효과적으로 개선합니다.

4. 이 방법의 견고성과 효과를 검증하기 위해 다양한 까다로운 시나리오에서 포괄적이고 광범위한 실험 평가가 수행되었습니다. 이러한 실험에 사용된 데이터 세트는 향후 연구 개발을 위해 장 교수팀이 공개적으로 공개했습니다.

시스템 소개

图片1.png

그림 1: RMSC-VIO 시스템 프레임워크의 흐름도

프런트엔드 기능 처리

멀티 스테레오 VIO 시스템에서는 각 스테레오 카메라의 이미지에서 특징점을 추출하고 매칭하여 로봇에 대한 다양한 방향의 환경 정보를 얻습니다.

초기화

이 연구에서는 멀티뷰 키프레임(MKF)의 개념을 소개하고 적응형 기능 선택 방법(AFS)을 제안합니다:

1) 이전 프레임 간의 시차 계산과 특징점 추적 품질을 기준으로 멀티뷰 키프레임을 선택합니다.

2) 특정 방향의 시각 정보를 사용할 수 없는 경우 AFS는 접근 가능한 대체 피처 포인트 세트를 선택하여 멀티뷰 키프레임의 포즈를 초기화합니다. 반대로 모든 시각 정보에 액세스할 수 있는 시나리오에서는 AFS가 후속 백엔드 최적화 처리를 위해 고품질 피처 포인트 세트를 전략적으로 선택합니다. 알고리즘 1은 제안된 AFS 알고리즘의 의사 코드를 제공합니다.

3) 여러 대의 카메라 보정을 간소화하기 위해 멀티 카메라 시스템을 위한 온라인 외부 보정 방법을 채택했습니다.

긴밀하게 결합된 멀티 스테레오 VIO

모든 카메라에서 "Sup" 세트라고 하는 최상의 특징 포인트 세트가 백엔드에 통합되어 공동 최적화가 이루어집니다. 이 융합 방법은 복잡하고 중복적인 VIO 융합 계산을 피하고 여러 VIO 결과 간의 불일치를 줄이며 동시에 다양한 각도의 시각 정보를 최적화 프로세스에 통합합니다.

图片2.png

그림 2: 슬라이딩 윈도우 요소 다이어그램의 구조

멀티 스테레오 시각적 루프 폐쇄

멀티뷰 루프 닫힘 감지는 대부분의 시퀀스에서 드리프트를 줄이는 데 사용됩니다.

실험 결과

연구팀은 세 가지 실내 시나리오와 네 가지 실외 시나리오에서 데이터를 수집했습니다. 실내 실험에서는 NOKOV 모션 캡처 시스템을 사용하여 밀리미터 미만의 정확도로 실제 지상 위치를 파악했습니다. 실외 시퀀스의 경우 실시간 키네마틱(RTK) 기술을 사용하여 센티미터 수준의 정확도로 실제 지상 위치를 파악했습니다.

최첨단 알고리즘(ORB-SLAM3, VINS-Fusion, MCVIO)과 비교 분석, 절제 실험, 드론 검증을 통해 까다로운 시각 환경에서도 시스템의 효과와 견고성을 검증했습니다.

图片3.png

그림 3: 실험에 사용된 쿼드콥터 UAV

1. 정성적 분석에서 이 연구에서 제안한 RMSC-VIO 알고리즘은 모든 데이터 세트에서 우수한 궤적 성능을 보여줍니다.

图片4.png

그림 4: VINS-Fusion, MCVIO 및 RMSC-VIO의 추정 궤적을 실제 위치와 비교한 네 가지 데이터 세트 시퀀스의 상단도입니다. 검은색 원은 각 궤적의 시작점을 나타냅니다.

2. 정량적 분석에서 절대 궤적 오차(ATE)로 측정한 평균제곱근오차(RMSE)는 VINS-Fusion에 비해 60%에서 80%까지 감소했습니다. 또한, RMSC-VIO 방법은 MCVIO보다 더 효과적인 것으로 나타났으며, ATE RMSE를 60%에서 90%까지 줄였습니다.