本文提出了参考完整性(RI),这是一个用于检测和预防自适应系统中参考标准损坏的框架。RI 针对一种特定的失效模式,即系统的内部评估标准通过递归自引用发生隐性漂移,从而产生常规监测无法察觉的复合退化。本文形式化了该失效条件,提出了跨通道分歧作为早期检测信号,并将 RI 置于关于模型崩溃、奖励模型过度优化和评估漂移的现有文献背景中。基于智能体的仿真为该检测假说提供了机制性论证。跨领域应用包括 ML 系统、具身机器人和组织系统。
Share your take
Add a clinician perspective alongside expert commentary.
Kara M. Eldridge (Wed,) 研究了这一问题。