Key points are not available for this paper at this time.
基础模型(FMs)是通过大量数据训练的模型,在大规模下能够在没有特定任务微调的情况下推广到新任务。随着这些模型的规模不断扩大,创新继续推动这些模型在语言和图像任务上的能力。本文旨在理解基础模型的一个尚未深入研究的领域:清理和整合等经典数据任务。作为概念验证,我们将五个数据清理和整合任务转化为提示任务,并评估基础模型在这些任务上的表现。我们发现,大型基础模型能够推广并在数据清理和整合任务上实现最佳性能,即使它们并不是为这些数据任务训练的。我们识别出这些模型所带来的特定研究挑战和机遇,包括处理私有和领域特定数据的挑战,以及让数据管理系统对非专家更易接触的机遇。我们的代码和实验可以公开获取,网址为:https://github.com/HazyResearch/fmdataₜasks.
Narayan 等(Thu,)研究了这个问题。