研究发现，AI训练接触太多AI生成的数据时，模型会走向“崩溃”

AI纪元网6月15日报道近日Gartner有一项调研报告显示，预测2025年AI生成的内容将占到所有已生成内容的10%；到2030年，90%的数字内容将都是AI创造。随着AI生成内容的广泛应用，一个令人担忧的问题开始浮现：当AI生成的内容在互联网上不断增加，并且用于训练模型时，会发生什么？

最近英国和加拿大的研究人员对这个问题进行了深入研究，并在开放获取期刊arXiv上发表了一篇相关论文。他们的研究结果令人忧虑，使用大模型生成的数据对大模型进行训练，会导致生成的模型出现不可逆转的缺陷，他们称之为模型崩溃。

研究人员主要研究了文生文和图生图的AI生成模型的概率分布信息。他们得出一个结论称，通过其他模型生成的数据，对AI大模型进行学习会导致模型崩溃，这是一个逐渐退化的过程。

随着时间的推移，大模型会逐渐忘记自己本来真正的底层数据分布形态。这有点类似我们人类，在不断学习认知的过程当中，一个人接触到的垃圾信息越多，干货越少，伴随时间的推移，就会走向认知和系统性的死循环。

该次理论研究的结论大致如下：

当AI训练模型接触到更多AI生成的数据时，模型的性能会逐渐下降。它会在生成的响应和内容中产生更多错误，并且响应的非错误多样性也会减少。AI生成数据的污染导致模型对现实的感知产生了扭曲。即使研究人员尝试训练模型不要生成过多重复的响应，他们发现模型崩溃仍然会发生，因为模型会编造错误的响应以避免频繁重复数据。

幸运的是，这种负面情况并非完全不可避免，在现有的转换器和LLM大语言模型的情况下，有一些方法可以避免模型崩溃。研究人员针对解决方案提出了几点看法：

第一种方法是，在训练之前，完全保留由人工生成的大模型数据集副本，并且不要与AI生成的数据混淆和掺和。然后，可以定期重新训练模型或从头开始使用完全新的数据集来刷新模型。第二种方法是，定期将新的、干净的、由人类引导生成的数据标签重新引入到训练当中，以降低大模型数据集质量的下滑，减少模型中不必要的错误或重复。

但是这一过程是艰苦的，研究人员指出，需要内容创作者与人工智能研究公司采用一种大规模的标签管理机制，努力区分人工智能生成的内容和人类生成的内容。

总之，这些研究发现对于人工智能领域具有重要意义，强调了需要改进方法以保持生成模型的完整性随着时间的推移。它们也提醒我们注意未经检查的生成过程的风险，并可能指导未来的研究以制定防止或管理模型崩溃的策略。