문. AI Bots를 위한 멀티에이전트 협업 기술 동향(2022.12.)

문. AI Bots를 위한 멀티에이전트 협업 기술 동향(2022.12.)

답.

1. 개요

  - 탈중앙화된 분산방식의 인공지능 기술은 국지적 소규모 정보를 바탕으로 제한된 컴퓨팅 자원을 최대한 효율적으로 사용하여 인공지능을 구성하여 동적 환경에 빠르게 적응하는 최선의 해를 제공함

  - 분산방식 인공지능 연구의 핵심은 분산된 인공지능을 제공하는 개체가 제한된 데이터, 지식, 경험과 자원을 서로 교류하여 최대한 활용함으로써 최선 해를 제공할 수 있게 하는 협업 인공지능 기술임

 

2. 중앙집중식 및 분산방식 인공지능 비교

구 분	중앙집중식 AI	분산방식 AI
처리 정보	전역 대용량 정적 정보	국지적 소규모 동적 정보
Client 규모	1~1000	10000이상
장점	정적 환경 최적해 제공	동적 환경 최선해 제공
단점	고비용 및 시간 소모	제한된 정보 및 컴퓨팅 자원

  - 협업 인공지능 기술은 서로 다른 데이터, 지식, 경험, 자원을 보유한 인공지능 에이전트들이 동적으로 협업 그룹을 형성하여 공유된 데이터, 지식, 경험과 더불어 분산자원을 활용하여 학습을 통해 강화된 인공지능 모델을 도출함

 

3. AI Bot의 개념

<그림. AI Bot 개념도>

구 분	설 명
개념	- Bot이란 인터넷 등에서 검색 등의 태스크를 자동으로 수행하는 컴퓨터 프로그램을 의미하며 internet bot, web robot, robot 등으로 불림 - AI Bot은 일반적으로 인공지능 기술을 활용한 chatbot을 의미함
특징	- 인식, 추론, 학습 등의 태스크를 수행하는 일종의 에이전트 - 자연어 처리 및 이해, Conversational AI 등의 기술 요구

 

4. 협업 인공지능의 개념

<그림. 협업 인공지능 개념도>

구 분	설 명
개념	- 공통의 목표가 없지만 다른 에이전트의 목표를 추측할 수 있으며 서로 이득을 볼 수 있는 상호작용을 하는 방식
특징	- AI-AI 협업 이외에도 인간 사용자와의 소통을 통하여 인간과 AI Bot들의 상호 합의를 통해 AI Bot들이 협업, 참여, 기여, 보상이 이루어질 수 있는 협업 기술을 포함함

 

5. 협업 인공지능 기술과 기타 탈중앙화 인공지능 기술 비교

구 분	유사점	차이점
On-device AI	단말 기반	협업 고려 부족
Embodied AI	제한된 1인칭 정보	시뮬레이션 기반
Edge Computing	분산 자원 활용	자원 활용에 초점
Federated Learning	분산된 데이터 활용	동일한 모델에만 적용
Multi-agent RL	분산된 경험 활용	고정된 학습 구조

 

6. 물체 및 공간 인식을 위한 협업 연구동향

구 분	설 명
엔비디아	- 청각 지능과 시각 지능의 모달 간의 교차 학습을 통하여 개별 지능에 대한 인식 기능을 향상시키는 연구를 진행함 - 지식 교류가 많은 Early Fusion 방식이 아니라 상대적으로 적은 통신량이 필요한 Late Fusion 방식으로서 협업 인공지능에 적용 가능함
로봇분야	- 공간을 인식하는 주요 기능으로 로봇이 자신의 위치와 자세를 파악하고 주변 환경에 대한 정보를 획득하는 SLAM(Simultaneous Localization and Mapping) 연구가 수행됨 - MIT와 스탠포드를 중심으로 시각적인 장면에서 객체 간의 의미론적 관계와 공간적인 관계를 동시에 구축하는 3D 장면 그래프 연구에서 멀티 에이전트를 활용하는 연구가 진행 중임

 

7. 분산 SLAM 기술 비교

구 분	설 명
Efficient Decentralized SLAM	- 전체가 전역 맵을 공유하지 않고 필요한 로봇에만 정보 교환
DOOR-SLAM	- P2P 방식 정보 교환과 인식 예외에 강인한 알고리즘
Swam-SLAM	- 다중 로봇 탐사 고려
Kimera-multi	- 의사결정 및 공간 인공지능을 가능하게 하는 의미 정보 캡처

 

8. 분산 행동 지능 협업의 개념 및 종류

가. 개념

구 분	설 명
개념	- 에이전트들의 개별 행동의 결과로 얻어지는 최종 결과가 만족스럽도록 각 에이전트의 행동이나 의사결정을 수행하는 것

 

나. 종류

구 분	설 명
규칙기반	- 단순한 규칙에 의하여 조직을 구성하고 작업 할당
경매방식	- 각 에이언트가 제안한 기능들 중 최적의 제안을 선택
합의방식	- 에이전트들 간의 특정 합의 상태가 되는 작업 할당을 선택
효용성기반	- 효용성이 최대가 되는 작업 할당을 선택
강화학습기반	- 강화학습을 통하여 최적의 협업 규칙을 학습하는 방식

  - 이외에도 인간의 행동 지능을 로봇 등의 기계에 전달하는 LfD(Learning from Demonstration) 방법을 연합학습 기법으로 구조화하여 인간의 행동 지식을 멀티에이전트 협업에 적용하여 학습하는 연구가 있음

 

9. 언어 기반 인간-AI Bots 협업의 개념 및 종류

가. 개념

구 분	설 명
개념	- 인간과 AI의 협업을 위한 인간-AI 소통 방식은 언어 지시어를 사용하는 언어적 방식과 제스처, 시선 등을 통한 맥락이해와 같은 비언어적 방식의 연구

 

나. 종류

구 분	설 명
언어기반	- 인간과 멀티에이전트가 협업하는 연구는 주로 chatbot과 같은 언어 기반 태스크에 연구가 집중 됨 - 사용자와의 인터페이스가 하나이므로 다양한 기능을 가진 에이전트를 대화에 선택적으로 연결하는 것이 중요함
체화된 인공지능	- Vision-and-Language task, Vision-Language Planning 등의 시각과 언어의 융합 태스크 연구가 활발함 - 3D-CNN과 LSTM을 활용하여 에이전트 간의 작업 분할과 지식 공유를 통하여 응답하고 이를 AI2-THOR 시뮬레이터로 검증하는 연구가 진행됨

 

10. 분산 협업 학습 연구동향

구 분	설 명
강화학습	- 행동이나 의사결정의 결과를 반영하여 지식을 학습하고 수정하는 방법으로 멀티에이언트 강화학습 연구가 진행되고 있음
중앙집중형 훈련- 분산형 실행	- 다수의 에이전트는 학습 단계에서 모든 정보를 공유하여 학습하고, 실행단계에서는 자신의 관측 정보만을 활용하여 행동을 수행
IMPALA 구조	- IMPortance weighted Actor-Learner Architecture - 구글 딥마인드는 에이전트 행동에 대한 보상 경험을 공유하는 것과 정책 경사 값을 학습하는 과정을 분리하여 대단위 분산 컴퓨팅 자원상에 강화학습을 가속할 수 있는 기술
자원문제 해결	- 에이전트 간의 통신에 소요되는 자원 문제를 줄이기 위해 에이전트는 개별적으로 actorNet과 메시지 생성 네트워크를 가지지만 criticNet은 공유하는 방식인 Message CoordinatorNet과 같은 멀티에이전트 통신 효율화 연구가 진행됨
에이전트 간 전이학습	- 한 에이전트의 지식을 다른 에이전트에 전이하여 전체 에이전트 그룹의 지능을 향상시키는 연구 - 강화학습을 통하여 개별 에이전트를 학습하고 이를 다른 에이전트에 전이학습하는 방식 제안
연합학습	- 구글 등에서 2017년에 제안된 연합학습은 복수 단말의 분산된 데이터를 직접 학습에 활용하지 않고 모델 계수들을 공유하는 방식 - 보안과 통신 효율성을 증대시킨 방법으로 FedAvg, FedSGD 등의 방법론이 있음

 

11. 용어 설명

구 분	설 명
최선해	- Best Satisfactory Solution - 동적인 환경에서 의사 결정과 같은 문제의 해결 방법으로서 가용한 시간, 컴퓨팅 자원 등의 제약을 만족하면서 얻을 수 있는 현실적인 만족해(Satisfactory Solution) 중 가장 최선인 해법
SLAM	- Simultaneous Localization And Mapping - 카메라나 Lidar 등의 센서 정보를 바탕으로 로봇의 상대적 또는 절대적 위치나 자세 등을 추정하는 로보틱스 연구의 한분야 - 2차원 및 3차원 SLAM 연구가 있음
체화된 인공지능	- Embodied AI - 제한된 몸체(Body) 내에 존재하는 1인칭의 데이터와 알고리즘을 시뮬레이션 환경에서 개발하고, 이를 실제 환경에 적용하는 인공지능 연구

 

도메인	인공지능	중요도	중
참고문헌	강동오 외 5명, “AI Bots를 위한 멀티에이전트 협업 기술 동향”, 전자통신동향분석, 2022.12, pp32-42.