模型崩溃作为漂移级联：递归人工智能训练、熵损失和合成数据反馈的热力学

Key Points

• 本研究探讨了递归 AI 训练中模型崩溃的现象，关注熵损失及其对数据反馈的影响。
• 分析了递归 AI 训练中作用于训练数据的漂移级联。
• 计算了模型训练期间的熵损失作为漂移速度的指标。
• 映射了多个维度中数据积累的一阶相变。
• 识别到漂移速度与每代熵损失值在 0.2-0.4 之间的相关性。
• 展示了模型性能从 D1 过渡到 D2 再到 D3 的清晰模式。
• 确认在特定训练条件下存在模型崩溃。