DiffAero: 효율적인 쿼드로터 정책 학습을 위한 GPU 가속 미분 가능 시뮬레이션 프레임워크

이 글에서는 효율적인 쿼드로터 제어 정책 학습을 위해 설계된 경량 GPU 가속 완전 미분 가능 시뮬레이션 프레임워크인 DiffAero를 소개합니다. DiffAero는 환경 수준 및 에이전트 수준의 병렬 처리를 모두 지원하며, 여러 동역학 모델, 사용자 정의 센서 스택(IMU, 깊이 카메라, LiDAR) 및 다양한 비행 작업을 통합한 통합 GPU 네이티브 훈련 인터페이스를 제공합니다. DiffAero는 물리와 렌더링을 GPU에서 완전히 병렬 처리함으로써 CPU-GPU 데이터 전송 병목 현상을 없애고 시뮬레이션 처리량에서 수많은 개선을 제공합니다. 기존 시뮬레이터와 비교할 때, DiffAero는 높은 성능의 시뮬레이션을 제공할 뿐만 아니라 미분 가능하고 하이브리드 학습 알고리즘을 탐구하기 위한 연구 플랫폼 역할도 합니다. 광범위한 벤치마크와 실제 비행 실험 결과, DiffAero와 결합된 하이브리드 학습 알고리즘이 소비자급 하드웨어에서 몇 시간 만에 견고한 비행 정책을 학습할 수 있음을 보여줍니다. 코드는 https://github.com/flyingbitac/diffaero에서 확인할 수 있습니다.