관계도 기반 심층 강화 학습을 통한 로봇의 다중 표적 포위 문제에 대한 새로운 알고리즘 - 중국과학원 자동화연구소 포지강 교수팀

사례 연구

고객 중국과학원 자동화연구소

측정 범위

적용 중국과학원, 관계도, 심층 강화 학습, 로봇, 다중표적 포위문제

분석 대상 로봇

사용 장비

다중 로봇 시스템 연구 분야에서는 포위 통제가 주요 주제입니다. 공동 호송, 적 표적 포착, 정찰 감시, 무인 수상함 순찰, 사냥 등 민간 및 군사 분야에서 광범위한 응용 분야를 발견합니다.

이러한 응용 분야의 핵심 과제는 목표 포위 및 충돌 회피 문제를 동시에 해결하면서 다중 목표 할당을 포함하는 다중 로봇 시스템을 제어하는 방법입니다. 이는 특히 분산형 다중 로봇 시스템에 큰 과제가 됩니다.

중국과학원 자동화연구소의 포지강 교수팀은 2022 ICRA 컨퍼런스에서 논문을 발표했습니다. 그들은 관계 그래프를 기반으로 한 심층 강화 학습 방법을 제안하여 다양한 조건에서 충돌 회피(MECA)를 통한 다중 표적 포위 문제에 대한 좋은 적응력을 보여주었습니다.

논문 검색 페이지

문제 공식

이 연구는 L개의 정적 장애물(블랙 서클)이 있는 환경에서 N개의 로봇(그린 서클)으로 구성된 다중 로봇 시스템이 K(1 < K < N)개의 정지하거나 움직이는 목표물(레드 서클)을 협력적으로 포위하는 MECA 과제를 정의합니다.

모든 로봇은 자율적으로 여러 그룹을 형성하여 모든 목표물을 포위해야 하며, 각 그룹은 충돌을 피하면서 개별 목표물을 포위하는 원형을 형성해야 합니다. 이를 위해 다음과 같은 세 가지 하위 문제를 해결해야 합니다:

1)동적 다중 목표물 할당 및 그룹화

2)그룹별 목표물 포위

3)집단간 충돌 회피

분산형 다중로봇 시스템의 MECA 다이어그램

방법

MECA 문제에서는 로봇, 목표물, 장애물 등 세 가지 유형의 실체가 존재합니다. 이러한 다양한 실체는 로봇에게 장애물 회피, 목표물 포위, 다른 로봇과의 협력 등 다양한 영향을 미칩니다.

이 연구는 로봇 수준과 목표 수준의 관계 그래프(RG)를 기반으로 한 DRL 분산 방법을 제안하며, 이를 MECA-DRL-RG 방법이라고 명명합니다.

구체적으로:

1. GAT(Graph Attention Networks)를 활용하여 로봇 수준의 RG를 모델링하고 학습합니다. 이 RG는 각 로봇과 다른 로봇, 목표물, 장애물 사이의 세 개의 이질적인 관계 그래프로 구성됩니다.

2. GAT를 사용하여 로봇과 다양한 타겟 간의 공간적 관계를 포착하여 타겟 레벨 RG를 구성합니다. 타겟 모션은 타겟 레벨 RG에 의해 모델링되고 목표 궤적을 예측하는 지도 학습을 통해 학습됩니다.

3. 또한 MECA에서는 다중 대상 문제를 해결하기 위해 지식이 포함된 복합 보상 함수를 정의합니다. 중앙 집중식 훈련과 분산식 실행 프레임워크를 기반으로 하는 행위자-비판적 훈련 알고리즘을 사용하여 정책 네트워크를 훈련합니다.

MECA-DRL-RG의 전체 구조

실험 검증

연구팀은 시뮬레이션 실험과 실제 환경 실험을 각각 수행했습니다. 실제 실험에서는 2개의 장애물이 있는 환경에서 6개의 로봇이 2개의 움직이는 목표를 에워싸는 시나리오로 설정되었습니다. 로봇들의 위치와 속도 데이터는 NOKOV 모션 캡쳐 시스템으로부터 제공받았습니다.

2개 장애물 환경에서 2개의 목표물을 둘러싸고 있는 6개의 로봇의 스냅샷

시뮬레이션과 실제 실험 모두 MECA-DRL-RG 접근법이 다른 방법에 비해 로봇이 주변 환경으로부터 이질적인 공간 관계 그래프를 학습할 수 있음을 확인했습니다. 목표 궤적을 예측할 수 있도록 하여 각 로봇의 주변 환경에 대한 이해도와 예측력을 높였습니다. MECA-DRL-RG 방법의 효과가 검증되었습니다.

또한, MECA-DRL-RG 방법은 로봇, 장애물 또는 목표물의 수 증가 또는 목표 이동 속도의 가속과 상관없이 우수한 성능을 보여주었고 넓은 적응성을 보여주었습니다.