DeepSeek V1

论文标题：DeepSeek LLM: Scaling Open-Source Language Models with Longtermism

https://arxiv.org/pdf/2401.02954

1.数据

2万亿文本用于预训练，1000万条用于SFT。

对数据进行处理，包含去重、过滤和重混。

去重和重混阶段通过对唯一实 例进行采样,确保了数据的多样化表示。过滤阶段提高了信息密度,从而实现了更高效、更有 效的模型训练。

采用字节级别字节对编码BBPE；拆数字，词元数量控制在10w，合并不同语言的符号字符。

2.架构

沿用llama2架构，具体：采用rmsNorm函数的pre-Norm结构；使用swiGLU作为前馈网络的激活函数；旋转嵌入；分组查询注意力 GQA代替多头注意力MHA。

DeepSeek LLM 使用标准差 0.006 进行初始化,并使用 AdamW 优化器 (Loshchilov and Hutter, 2017) 进行训练,超参数如下: β1 = 0.9, β2 = 0.95,以及权重_衰减 = 0.1。

在预训练阶段,采用了多步学习率调度器,而非典型的余弦调度器。

具体而言,模型的学习率在 2000 个预热步数后达到最大值, 随后在处理完 80% 的训练词元后降至最大值的 31.6%。 在处理完 90% 的词元后,进一步降至最大值的 10%。训练阶段的梯度裁剪设置为 1.0

3.基础设施

使用了一个名为HAI-LLM的高效轻量级训练框架

混合并行策略：采用了数据并行（Data Parallelism）、张量并行（Tensor Parallelism）、序列并行（Sequence Parallelism）以及1F1B 流水线并行（1F1B Pipeline Parallelism）

显存优化：利用ZeRO-1技术在数据并行秩之间对优化器状态进行切分

算子融合：为了提速，框架融合了 LayerNorm、GEMM（通用矩阵乘法）以及 Adam 优化器更新等操作

4.缩放定律（Scaling Laws）的演变

传统：计算预算 C （预训练大语言模型时投入的总计算资源量）通常根据模型参数量（N）和训练数据量（D，即 token 数量）来估算，公式为：C≈6ND 这里将每个 token 的前向和后向传播开销近似为模型参数量的 6 倍。

传统的参数表示法（6ND）没有考虑到注意力操作（attention operation）的计算开销，在小规模模型中可能导致高达50% 的近似误差。

DeepSeek 引入了新的指标：C=MD。 D 代表数据集中的token 数量

批次大小逐渐增大：这意味着模型规模越大、训练数据越多时，需要更大的批次来保持训练效率和稳定性。

学习率逐渐减小：大模型训练通常需要更小且更谨慎的学习率，以防止训练崩溃并确保收敛

5.各类验证--安全验证

6.参考内容

1. llama2架构图 https://blog.csdn.net/CV_Autobot/article/details/137534667

​​​​​​https://zhuanlan.zhihu.com/p/677423544

2. 流水线：https://zhuanlan.zhihu.com/p/1922398748941723463

https://www.bilibili.com/video/BV1QToSY6EMm/?spm_id_from=333.337.search-card.all.click&vd_source=d822e911a2ea10d2b0720afa70f0c357

3. 各类并行：https://zhuanlan.zhihu.com/p/659792351

https://zhuanlan.zhihu.com/p/504957661

4.All-reduce: https://zhuanlan.zhihu.com/p/504957661

5.zero1,2,3:https://www.microsoft.com/en-us/research/blog/zero-deepspeed-new-system-optimizations-enable-training-models-with-over-100-billion-parameters/

https://www.cnblogs.com/gongzb/p/19087423

6. deepseek讲解：https://zhuanlan.zhihu.com/p/1901560244187960315

7. pre-Norm和post-Norm： pre-Norm和post-Norm： https://zhuanlan.zhihu.com/p/686188942

https://www.bilibili.com/video/BV1QbYhzzEZr/?spm_id_from=333.337.search-card.all.click&vd_source=d822e911a2ea10d2b0720afa70f0c357

8. GQA, MHA: gqa+ mha: https://zhuanlan.zhihu.com/p/686149289