具身人工智能系统将大型视觉语言模型（LVLMs）和大型语言模型（LLMs）与物理驱动器和传感器结合在一起，面临来自现实环境中感知、认知和执行之间复杂互动所导致的独特稳健性和安全性挑战。本次调查对这些脆弱性及相关攻击面进行了系统分析。我们提出了一种三部分脆弱性分类法，包括基础、集成和上下文风险。基础脆弱性源于当前人工智能架构和训练范式的固有局限；集成脆弱性则来源于网络物理组件的组合；而上下文脆弱性则源于动态的物理环境和部署条件。 correspondingly，我们展示了一个全面的攻击分类法，涵盖了对LLMs/LVLMs的基础攻击（包括基于logits、基于优化、基于提示和跨模态攻击）、集成级网络安全威胁（如中间人、固件、侧信道和供应链攻击）以及上下文攻击（主要是跨多种模态的传感器欺骗）。我们进一步考察了认知核心的典型故障模式，审视了现有的评估方法和基准，并综合了一种多层防御框架，整合了感知冗余、运行时监控和硬件强制安全机制。此项工作提供了一个统一的概念框架和实践路线图，用于在安全关键的现实部署中设计和评估稳健、安全的具身人工智能系统。
Xing等人（周四）研究了这个问题。