엔드 투 엔드 딥 강화 학습을 통한 생체 모방 로봇 물고기의 효율성과 추진력 향상

수중 생물은 낮은 에너지 소모로 효율적인 추진력을 생성하는 능력으로 잘 알려져 있습니다. 기존 연구는 수중 로봇의 에너지 비용을 줄이기 위해 생체 구조를 활용하려고 했지만, 효율성을 향상시키는 데 있어 제어 정책의 중요한 역할은 종종 간과되어 왔습니다. 본 연구에서는 딥 강화 학습(DRL)을 사용하여 생체 모방 로봇 물고기의 동작을 최적화하여 추진 효율을 극대화하고 에너지 소비를 최소화합니다. 우리의 새로운 DRL 접근법은 확장된 압력 인식을 통합하고, 관측의 시퀀스를 처리하는 변환기 모델 및 정책 이전 체계를 포함합니다. 특히, 우리의 접근방식 내에서 훈련 안정성과 속도가 크게 향상되어 로봇 물고기의 엔드 투 엔드 훈련이 가능해졌습니다. 이는 유체 역학 환경에 대한 민첩한 반응을 가능하게 하며, 미리 정의된 동작 패턴 제어와 비교할 때 더 큰 최적화 잠재력을 가집니다. 우리의 실험은 레이놀즈 수 6000의 자유 유동에서 직렬로 연결된 강성 로봇 물고기에서 계산 유체 역학 시뮬레이션을 사용하여 수행되었습니다. DRL로 훈련된 정책은 높은 효율성과 추진력을 보여주는 인상적인 결과를 보입니다. 정책들은 또한 제어 기관의 체화 능력을 보여주며, 몸체 구조를 능숙하게 활용하고 주변 유체 역학과 상호작용하는 방식이 유동 분석을 통해 밝혀졌습니다. 본 연구는 생체 모방 수중 로봇의 최적화에 대한 귀중한 통찰을 제공하며, 그 구조적 장점을 활용하여 궁극적으로 더 효율적인 수중 추진 시스템에 기여합니다.