基于中心感知文本梯度的提示优化系统

通过文本反馈进行提示优化在改善大型语言模型（LLMs）在下游任务中的表现方面显示出了良好的前景。然而，现有的方法通常依赖于从候选梯度池中随机采样或使用局部启发式选择提示编辑，这需要多次评估才能找到有效的修改。在这项工作中，我们提出了一种中心感知选择方法，根据候选梯度池到稳健语义中心表示的接近程度来识别高质量梯度候选。我们的方法不是通过迭代地采样或评分候选，而是嵌入所有文本梯度并确定性地选择与语义中心最接近的前k个，这捕捉了候选池的共识。对三个不同数据集的实验表明，我们的方法不仅提高了预测性能，还减少了所需的模型查询次数。此外，定性分析显示，靠近中心的梯度倾向于编码更具通用性的推理模式。这些发现突显了语义嵌入空间作为可靠信号在高效选择有效提示编辑中的应用价值。