公众意见报告是危机管理的重要工具，但其评估仍然是一个关键瓶颈，常常导致响应行动的延迟。最近，基于大型语言模型（LLM）的评估者往往忽视了一个关键挑战：如“创新”和“可行性”等高度开放性维度需要综合不同利益相关者的观点，因为不同的群体从根本上以不同的视角来评判这些特性。基于此，我们提出了基于角色的自适应评估（RAE）框架。该框架采用一种适应机制，通过基于角色的分析利用多视角评估洞察，并进一步引入针对这些维度的特定上下文动态生成的角色。RAE还结合了多角色推理聚合，以最小化个体偏见并增强评估的稳健性。广泛的实验表明，RAE显著提高了与人类专家判断的一致性，特别是在具有挑战性的高度开放性维度上。
Yu等人（周四）研究了这个问题。