다중 에이전트 자율 협력 주행 정책에 대한 적대적 심층 강화 학습 공격

최근 몇 년간, 다중 에이전트 강화 학습(MARL)은 연결된 자율 차량(CAV)을 위한 협력적 의사 결정 모델을 훈련하는 데 점점 더 많이 적용되고 있습니다. 그들이 보여준 성공에도 불구하고, 이들은 적대적 공격에 대한 취약성과 같은 심층 학습 모델이 겪는 문제를 물려받을 수밖에 없습니다. 따라서 이 연구는 배포 중에 마주치는 적대적 행동에 대한 회복력 측면에서 CAV가 사용하는 MARL 훈련된 협력 정책의 강인성을 평가하고 강화하는 것을 목표로 합니다. 첫째, 특정 기존의 협력 정책을 식별하여 피해 정책으로 지정하였으며, 이는 온-램프 합류 도로 시나리오에서 배포되었습니다. 둘째, 충돌 적대자와 속도 적대자라는 두 가지 적대적 정책을 개발하고 훈련하여 피해 정책의 성능을 방해하도록 하였습니다. 이 적대적 정책들은 피해 정책에 상당한 영향을 미쳐 충돌률을 62%로 증가시키고 평균 속도를 25 m/s에서 21.73 m/s로 감소시켰습니다. 마지막으로, 적대적 시나리오에 대해 더 강인한 협력 정책을 생성하기 위해 여러 가지 적대적 훈련 접근법이 개발되었으며, 이는 적대적 조건에서 도로 안전을 크게 강화하였습니다. 충돌율는 반으로 줄어들었으나, 적대적 정책에 대해서는 0%의 충돌이 발생했습니다.