大型语言模型(LLMs)在将非结构化的软件文档转换为结构化任务流程方面展现出有前景的能力,但其输出常常缺乏软件工程中关键的过程可靠性。本文提出了一个综合框架,评测了五个领先的大型语言模型——Gemini 2.5 Pro、Grok 3、GPT-Omni、DeepSeek-R1 和 LLaMA-3,采用包括零次提示法(Zero-Shot)、链式思维(Chain-of-Thought)和ISO 21502 指导等五种提示策略,基于 "Build Your Own X" 仓库中的真实软件教程。我们引入了混合语义相似度指标(HSSM),结合了 SentenceTransformer 嵌入与上下文感知的关键词重叠,既捕捉了语义保真度,又保证了过程的一致性。与传统指标如 BERTScore、SBERT 和 USE 相比,HSSM 显著降低了方差(变异系数 CV:1.5–2.9%)并且与人工判断的相关性更强。结果显示,即使是最简化的零次提示,也能产生高度契合的任务流程(HSSM:96.33%),前提是采用稳健的评估指标。该工作为大型语言模型辅助的软件规划提供了可扩展的评估范式,对 AI 驱动的项目管理、提示工程以及软件教育和工具的过程生成具有深远意义。
Sarim 等人(星期三)研究了该问题。