使用大型语言模型生成合成数据：文本和代码的进展

本次调研回顾了大型语言模型（LLMs）如何在自然语言和代码领域变革合成训练数据的生成。通过生成人工但与任务相关的示例，这些模型可以显著增强甚至替代真实世界的数据集，尤其是在标注数据稀缺、昂贵或敏感的情况下。本文调查了利用LLMs创建合成文本和代码的最新进展，重点关注基于提示的生成、检索增强管道和迭代自我优化等关键技术。我们考察了这些方法如何丰富低资源任务（例如分类、问答）并促进以代码为中心的应用（例如指令微调、代码翻译、错误修复），通过自动化验证功能正确性。在潜在的好处（成本效益、广泛覆盖和可控多样性）之外，我们还讨论了伴随而来的挑战，包括生成文本中的事实不准确性、风格或分布现实主义不足以及偏见放大风险。提出的缓解策略范围从过滤和加权合成输出到在代码领域与执行反馈结合的强化学习。我们最后列出了开放的研究方向，如自动化提示工程、跨模态数据合成和强健评估框架，强调了LLM生成的合成数据在加速AI发展中的日益重要性，同时强调伦理和质量保障。