2025_NIPS_The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data Only

文章主要内容和创新点总结

主要内容

本文聚焦大型语言模型（LLM）预训练数据的优化与探索，核心是验证“仅通过高质量处理的网络数据，就能训练出性能超越基于精选语料训练的模型”这一观点。

1. 背景挑战：当前LLM通常依赖过滤网络数据与精选“高质量”语料（书籍、论文等）的混合数据集训练，但精选过程耗时耗力、可扩展性差，且随着模型规模扩大，高质量数据短缺问题日益凸显。
2. 数据集构建：提出REFINEDWEB数据集，基于CommonCrawl网络数据，经严格过滤和去重处理，规模达5万亿tokens，同时公开6000亿tokens的子集及基于该数据集训练的1B/7.5B参数模型。
3. 核心方法：设计MDR（MacroData Refinement）数据处理流水线，包含URL过滤、文本提取、语言识别、文档/行级过滤、模糊+精确去重等环节，去除近90%低质量数据，同时避免引入额外偏差。
4. 实验验证：通过小规模（1B/3B参数）和大规模（1B/7B参数）实验，证明基于REFINEDWEB训练的模型在零样本任务上，不仅超越C4、OSCAR等网络数据集训练的模型，还优于The Pile等精选语料训练的模型，甚至能匹配GPT-3系列模型的性能。
5. 额外发现：去重对各数据集的零样本性能提升具有一致性，而过滤需根据数据源调整；MDR流水线可迁移至其他数据集，进一步优化性能。

创新点

1. 颠覆传统认知：打破“必须依赖精选语料才能训练高性能LLM”的固有观念，证实经优化处理的纯网络数据可达到甚至超越精选语料的效果。<