大型语言模型能通过热启动提高软件工程的主动学习吗？

软件工程现在需要导航广大的配置空间，不仅是软件系统，还有构建它们的过程。配置错误威胁着性能、稳定性和安全性。更糟的是，我们在大设计空间中进行手动推理的能力有限。因此我们说（a）可配置性在没有工具支持的情况下是一种负担，并且（b）作为优先事项，软件工程需要探索更好的配置工具。找到好的配置是一门黑暗的艺术，需要大量经验。当这种经验稀缺时，“主动学习者”可以通过标记最具信息性的示例来构建配置模型（这样配置可以使用很少的数据生成）。主动学习可以从好的初始猜测中受益（称为“热启动”）。本文尝试使用大型语言模型（LLMs）创建热启动。结果与高斯过程模型和帕尔岑估计树进行了比较。在49个软件工程任务中，LLM生成的热启动显著提高了低维和中维任务的性能。然而，在高维问题中，LLM的效果下降，而贝叶斯方法如高斯过程模型表现最佳。为了支持开放科学，我们的脚本和数据在线上可在github.com/timm/moot和github.com/lohithsowmiyan/lazy-llm找到。