模型在环 (MILO)：利用 LLMs 加速多模态 AI 数据标注

对 AI 训练数据日益增长的需求已将数据标注转变为一个全球性产业，但依赖人工标注员的传统方法通常耗时、费力且容易出现质量不一致的问题。我们提出了模型在环（Model-in-the-Loop, MILO）框架，该框架将 AI/ML 模型集成到标注过程中。我们的研究引入了一种协作范式，充分利用了专业人工标注员和大型语言模型（LLMs）各自的优势。通过采用 LLMs 作为预标注和实时助手，以及对标注员响应的评判者，MILO 实现了人工标注员与 LLMs 之间的有效交互模式。针对多模态数据标注的三项实证研究表明，MILO 在减少处理时间、提高数据质量以及改善标注员体验方面具有显著功效。我们还引入了质量评分标准，以便对开放式标注进行灵活评估和细粒度反馈。MILO 框架对于加速 AI/ML 开发、减少对单纯人工标注的依赖以及促进人机价值观之间更好的对齐具有重要意义。