Key points are not available for this paper at this time.
代码预训练模型的兴起显著增强了各种编码任务，如代码补全，以及像GitHub Copilot这样的工具。然而，这些模型，尤其是大型模型的巨大规模，在针对特定下游任务进行微调时面临重大挑战。作为一种替代方法，基于检索的方法作为一种有前景的解决方案出现，增强模型预测而无需微调。尽管它们潜力巨大，但一个重大挑战在于这些方法的设计往往依赖于启发式，留下了关于应存储或检索哪些信息以及如何插值这些信息以增强预测的关键问题。为了解决这一挑战，我们首先对微调过程进行理论分析，强调增量logits在改善模型预测中的重要性。在此基础上，我们开发了一种新颖的基于检索的方法FT2Ra，旨在模仿真正的微调。虽然FT2Ra采用基于检索的机制，但它独特地采用了一个具有学习率和多轮检索的范式，这与微调类似。在代表相对较简单任务的令牌级补全中，FT2Ra相较于UniXcoder上的最佳基线方法实现了4.29%的准确率提升。在更具挑战性的行级补全任务中，我们观察到准确匹配（EM）性能的显著提升，增加了两倍以上，表明我们理论分析的显著优势。值得注意的是，即使在没有实际微调的情况下，FT2Ra的表现与经过实际微调的模型相比也具有竞争力.
Guo 等人（星期三）研究了这个问题。