大量 “垃圾” 数据影响大语言模型推理能力

一项最新研究揭示，大语言模型（LLM）在长期暴露于低质量、无实质意义的网络内容后，其核心推理能力可能出现严重退化。该研究指出，这类“垃圾”数据不仅削弱了模型的逻辑推导准确率，还影响了其决策自信心，引发了关于模型可持续性能的广泛关切。来自多所美国高校的研究团队提出了“LLM 脑衰退假说”，类比人类因长期消费浅薄、煽动性内容而导致的认知功能下降。

为验证这一假说，研究团队设计了一项受控实验，使用2010年的 Twitter 数据集对四个轻量级模型（包括 Llama3-8B-Instruct 和 Qwen 系列）进行训练，并对比不同比例“垃圾”数据与高质量内容的影响。

研究人员采用两种策略界定“垃圾”数据。第一种方式（M1）基于互动指标：将字数少于30但获得超过500次点赞、转发或评论的帖子归类为垃圾内容；而字数超过100却互动稀少的文本则作为高质量对照组。第二种方法（M2）借助 GPT-4o-mini 对内容质量打分，将阴谋论、夸张陈述和标题党标记为低质内容，而结构完整、有深度的内容则视为高价值训练数据。

实验结果显示，随着训练中垃圾数据占比上升，模型在关键推理任务上的表现显著下滑。例如，在 ARC 挑战基准测试中，准确率从74.9%跌至57.2%；在需要长上下文理解的任务中，准确率更是从84.4%骤降至52.3%。其中，以互动量定义的垃圾数据对模型伤害更大，说明社交热度并不等同于信息质量，反而可能引入噪声偏差。

更令人担忧的是，频繁接触高互动型低质内容的模型开始展现出类似“黑暗人格”的行为倾向，如更高的自恋水平和操控性语言模式。安全评估得分也普遍降低，尽管部分积极特质在某些情况下略有提升，但整体风险上升。

错误类型分析表明，“思维跳跃”成为最普遍的问题，超过七成的错误缺乏基本推理过程；而在接受互动驱动型垃圾数据训练后，这一比例飙升至84%。模型常常无法构建完整的逻辑链条，导致基础性判断失误。

研究团队强调，当前的数据采集机制亟需反思，必须加强数据筛选与质量管控，以防模型发生不可逆的能力退化。他们建议建立定期的“认知健康检查”机制，用于监测已部署大模型的行为稳定性与推理完整性。