垂域大模型训练方法图谱：CPT 不是调 trick，是回答四个问题

用约束最优化视角理解 CPT 的本质、用 pass@k × σ × ρ 决定方法象限、辨清工业主流 vs 学术前沿，最后聊 MoE Upcycling 真正在做什么。

Ehco · 2026 年 5 月 · 阅读时间约 22 分钟

摘要

"做一个垂域大模型，怎么训练最好？" 这个问题如果只在"用什么 trick"这一层回答，永远停在工程决策的下游。本文把垂域大模型训练拆成四层：

1. CPT 的本质 —— 一个约束最优化问题，所有 trick 都是它的近似解
2. 元决策 —— 在选具体方法之前，先用 pass@k 判据 + 域可分性 × 技能相关性框架确定方法象限
3. 工业现状的诚实图谱 —— 主流是 dense 全参 CPT + 数据混合 + replay；MoE upcycling 是真正在成熟的前沿；EWC 等"理论优雅方法"在工业未被普遍采用，但用"主流 / 前沿 / 已淘汰"这套一维分类本身就是不诚实的——方法的真实位置需要"工业部署度 × 学术活跃度"二维图谱才说得清
4. MoE Upcycling 的真正机制 —— Innovator 的 fine-grained FFN dimension splitting 在 superposition 视角下为什么优雅

每一层都改变上一层的判断。整篇读完，方法选择会从"用什么 trick"变成一个嵌套的决策结构。

1. 起点：大多数人停在哪里

"做一个垂域大模型，怎么训练？" 90% 的回答会停在：

"用 Qwen2.5 做 CPT，加 replay 防遗忘，调好学习率 schedule。"

这个回答没有错，但它是纯工程叙事。它能让你在工业部署里把项目跑通，但在懂行的同行眼里——尤其是研究院系出身的那些人——它对应的是"工程师"而不是"���究员"。

差距在哪里？差距是：这个回答没有回答"为什么"。

为什么是 dense CPT 而不是 MoE？为什么 replay ratio 是 30% 而不是 50%？为什么学习率要 re-warmup？为什么有些垂类适合 CPT，有些适合 RL，有些根本就不该训？

这些"为什么"的答案，不在 trick 层。它们在四个嵌套的决策层里。本文就是把这四层逐层下沉。

2. 第一层：CPT 的本质是约束最优化

CPT（Continue Pretraining）字面意思是"在已经预训练好的基座上，用新数据继续做 next-token prediction"。

这是最浅的理解。在这一层，CPT 看起来就是"换个数据集继续跑 pretrain 脚本"。这也是为什么大多数人做 CPT 的效果都很差。

真正的本质

CPT 的核心，是在一个已经分布好的概率空间上，做一次有方向、有约束的"分布迁移"。

预训练好的基座模型 $P_\theta(x)$，在通用语料分布 $P_{\text{general}}$ 上拟合得很好。CPT 要做的是：让它对垂类分布 $P_{\text{domain}}$ 拟合得更好，同时尽可能不破坏它在 $P_{\text{general}}$ 上的能力。

写成数学就是这个目标：

$$\min_\theta \mathbb{E}_{x \sim P_{\text{domain}}}[-\log P_\theta(x)] \quad \text{s.t.} \quad \mathbb{E}_{x \sim P_{\text{general}}}[-\log P_\theta(x)] \leq \epsilon$$

这个约束最优化问题就是 CPT 的全部。 所有 trick、所有论文、所有工程实践，都是在解这个约束最优化问题——只是用了不同的近似方法。

理解这个公式之后，CPT 的所有难点就显出来了：

难点 1：左右两项天然冲突。 SGD 没有"只往垂类方向更新、不动通用方向"这种好事——参数共享意味着提升垂类必然扰动通用。这就是灾难性遗忘的数学起源。

难点 2：你不知道 $P_{\text{general}}$ 的真实分布。约束项是个理想化的东西，实际操作中只能靠 replay 近似——往训练数据里掺通用语料。replay 应该掺什么、掺多少，本质上是在问"$P_{\text{general}}$ 到底长什么样"。

难点 3：从原盆地走到新盆地，怎么不摔下去。预训练完的参数 $\theta_0$ 处在一个相对平坦的盆地里。CPT 要从这个盆地"走"到一个新的盆地——既靠近垂类最优，又不能离原盆地太远。学习率太大会"摔出去"（forgetting），学习率太小会"走不到"（underfitting）。所以 CPT 学习率几乎永远比 pretrain 末期小一个数量级——这不是经验，是从优化几何推出来的。

哲学层：CPT 不是"加知识"，是"调用模式重加权"

大多数人以为 CPT 是在"往模型里塞知识"——塞医学、塞法律、塞数学知识。这个理解是错的，至少非常不完整。

正确的理解是：CPT 不是在"加"东西，是在"调整"模型对已有知识的"权重分配"和"调用方式"。

为什么？

• 你 CPT 用的"垂类知识"，绝大部分基座 pretrain 时已经见过。给 Qwen 做医学 CPT，PubMed 论文 Qwen 大概率早就训过
• CPT 的真正作用，是让模型在垂类语境下，更倾向于激活和使用那些已经存在但被压抑的表征
• 基座模型像一个什么都懂一点的通才，CPT 是让他变成"在医院里会用医生口吻说话、调用医学先验、按医学逻辑推理"的人。知识没变多，调用模式变了

这个视角带来三个深刻推论：

1. CPT 的有效性上界，由基座本身的潜在能力决定。如果基座完全没见过某领域，CPT 没法无中生有——你需要的是 from-scratch
2. 好的 CPT 语料不是"知识最多的语料"，是"最能激活领域调用模式的语料"。DeepSeekMath 之所以猛，核心不在于他们爬了多少数学语料，而在于他们的语料筛选 pipeline 让模型见到的都是"高质量的数学推理过程"
3. CPT 的成功标志不是"垂类 loss 降低"，是"垂类下游任务能力的涌现"。盯着 training loss 看到降了就觉得成功，是新手陷阱

把 CPT 拆成四个核心问题（Q1-Q4）

如果用一句话回答"CPT 的核心是什么"：

CPT 的核心，是在基座模型的能力空间内，用最小的参数扰动，实现领域调用模式的重新加权——本质上是一次"约束最优化下的分布迁移"。

这句话拆开就是 CPT 的四个核心问题，所有 CPT 的研究和工程都在回答它们：

• Q1 — 往哪儿迁？（target distribution 的定义）数据层面的核心问题
• Q2 — 迁多远？（学习率、训练步数、参数子集）优化层面的核心问题
• Q3 — 怎么保证不忘？（replay、正则化、参数隔离）稳定性层面的核心问题
• Q4 — 怎么知道成功了？（evaluation）评估层面的核心问题

把任何一份"垂域基座招聘描述"或"项目 spec"的每一句话翻译到 Q1-Q4：

定义垂类基座的评估方式 → Q4 研究基座能力的 scaling 模式 → Q2 + 数据 scaling 利用大规模语料进行增量预训练 → Q1 + Q3 解决通用基座在交通等领域的专业知识、复杂数值推理上的短板 → Q1-Q4 整个闭环

用 Q1-Q4 组织叙事，会让你从"做了一个 CPT 项目的工程师"瞬间升级为"理解 CPT 本质的研究员"。这才是任何一份认真的研究 spec 里写 "Good research taste"、"Following the First Principle" 真正在找的东西。

3. 第二层：选方法之前先问"我在哪个象限"

回答完"CPT 是什么"，下一个问题是：为什么是 CPT 而不是 RL / MoE / LoRA / RAG？

这个问题不能直接回答"哪个最好"——它依赖于你的任务对模型施加了什么约束。

元判据：能力是否潜伏在模型里？

最干净的判据来自一个反向问题：给定当前基座，多次采样能不能让回答变好？

• 判据通过（pass@k > pass@1 显著，比如 pass@1=30%, pass@10=60%）：能力已经在模型里了，只是被次优概率质量稀释了 → 用 RL 把分布"锐化"，把概率往正确答案上集中
• 判据不通过（采样多少次都找不到正确答案）：能力根本不在模型里 → 必须新增参数容量

这个判据的数学根据是：RL 本质上是"重加权"，不是"创造"。RL 的梯度

$$\nabla_\theta \mathbb{E}_{x \sim \pi_\theta}[R(x)] = \mathbb{E}_{x \sim \pi_\theta}[R(x) \nabla_\theta \log \pi_\theta(x)]$$

只能在已经被采样到的轨迹上按 reward 重新加权。如果一个正确答案 pass@∞ = 0，RL 永远学不到它。

DeepSeek-R1 论文里有一句关键的话："R1-Zero 证明了 RL 可以激发预训练模型已经具备但未表达的 reasoning 能力。" 这就是字面意义上的"分布锐化"。OpenAI 的 o1/o3 系列工作的核心假设也是这个——他们发现 pretrained model 对很多 reasoning task 的 pass@∞ 已经接近 100%，所以 RL（搜索式 RL + verifier）才 work 得这么猛。

4 象限决策框架

更精细的判据要把数据分布也纳入：

这个框架的洞见层次（从浅到深）：

1. RLHF 不是万能的——只在象限 I 有效
2. SFT 和 RL 是两种不同的"分布操作"——SFT 搬运概率质量（象限 III），RL 重加权概率质量（象限 I）
3. CPT 本质是处理"知识缺失"（象限 II），如果同时是新领域 + 缺知识（象限 IV），需要参数扩展兜底
4. 判断你处在哪个象限，比选择哪个方法重要十倍——这就是 First Principle 的具体含义

更深一层：σ × ρ 框架

象限框架还可以再下沉一层。所有"参数操作"的方法选择，可以归结为两个维度：

维度 1：域可分性 σ（Domain Separability）

新域和原域之间是否存在清晰的 routing signal？语言（中文 vs 英文）、模态（文本 vs 图像）、显著的 domain marker（代码 vs 自然语言）的可分性高；reasoning 增强、风格调整、复杂推理的可分性低。

维度 2：技能相关性 ρ（Skill Correlation）

新任务需要的能力，是否与原模型已有能力共享底层结构？数学推理跟通用语言理解相关性高；多语言之间相关性中等；视觉编码跟语言生成相关性低。

这两个维度组成的四象限决定方法选择：

• 右下（高 σ，低 ρ）：MoE 经典 / RAG 主导。这是 MoE 的理论 sweet spot——域之间高度可分（router 容易学），技能之间相关性低（不需要参数共享）。多语言、多模态、超大知识库（GLaM、Switch Transformer 早期）落在这里
• 右上（高 σ，高 ρ）：MoE-shared 主导。这是 DeepSeek-MoE 的核心创新——shared expert 承载共享技能，fine-grained experts 承载领域分化。理论上是 Pareto-optimal 的 MoE 架构
• 左上（低 σ，高 ρ）：CPT + RL 主导。域之间无清晰 routing signal（数学推理跟通用语言能力深度纠缠），技能之间高度相关。MoE 的 router 学不出来，只能在共享参数上做更新。OpenAI o1、DeepSeek-R1 都不用 MoE 来做 reasoning，而是在 dense 模型上做 RL，就是这个原因
• 左下（低 σ，低 ρ）：LoRA / SFT 主导。既不可分又不相关——通常意味着是个小切口适配任务，没必要兴师动众

把任意一个"行业垂类基座"场景代入（金融、法律、医疗、交通——任选）：σ 中高（专业术语 + 知识结构清晰），ρ 高（垂类推理建立在通用推理之上）→ 右上象限 → MoE-shared 架构是理论最优。这个推断比按部就班的"用 Qwen 做 dense CPT"高一个抽象层。

4. 第三层：工业现状的诚实图谱

第二层告诉你"理论上该怎么选"。第三层是个很多研究者会忽略的问题：现实里大家在做什么？

理论最优解和工业部署之间，永远有一个 gap。把这个 gap 看清楚，比看任何一篇 paper 都重要。

工业主流（2024-2025 真实情况）

按公开技术报告（DeepSeek、Qwen、Llama、Yi、Mistral、InternLM、Baichuan、Skywork 等）的观察，主流 CPT 99% 是这套：

Dense 全参 CPT + 精心设计的数据混合 + 学习率 re-warmup decay + replay

具体地：

1. 架构不变——原模型是 dense 就还是 dense，原模型是 MoE 就还是 MoE。不在 CPT 阶段改架构
2. 全参更新——不是 LoRA、不是冻结部分层
3. 数据混合是核心——通用语料 + 垂类语料按某个比例混合，比例通过小规模实验扫描，典型范围 50:50 到 30:70（垂类占大头）
4. 学习率重新 warmup + decay——CPT 学习率比 pretrain 末期高 1-2 倍（warmup re-rise），然后 cosine decay
5. Replay——通用语料的 30%-70% 占比就是 replay 的实现方式。没有显式 EWC、L2、KL 正则——直接靠数据混合搞定

就这么简单。没有 expandable MoE，没有 dynamic expert expansion，没有 fancy 的分布约束正则。

为什么不是 Lifelong MoE / Expandable MoE？

学术界 2023 年的 Lifelong MoE 系列论文（Chen et al. ICML 2023 等）在工业界几乎没人用。原因：

1. 工业 CPT 是"一次性"的——确定一个领域（金融/医疗/交通），训出来就部署。"持续学习"是学术界的人造问题
2. Expandable MoE 工程复杂度太高——router、负载均衡、expert 冷启动、分布式通信，换来的是相对 dense 全参 CPT 几个点的 forgetting 减少。对工业界不值得
3. "灾难性遗忘"在 LLM 时代被夸大了。Qwen2.5-Math 在通用 benchmark 上的退化只有 1-3 个点，工业界完全可接受
4. 真正前沿是 in-place MoE CPT——已经训好的 MoE 模型怎么做 CPT（DeepSeek-V3 做行业适配），不是"把 dense 扩成 MoE 再 CPT"

为什么不是"分布约束"？

EWC、SI、MAS、L2-SP、KL-to-base 这些显式 anti-forgetting 正则方法，理论上很优雅，实践中几乎没有任何工业 LLM 报告说他们用了。三个理由：

1. 超参 $\lambda$ 极难调——太小没用，太大学不到新东西
2. Fisher information 估计在百亿参数尺度太贵——EWC 需要计算 Fisher info matrix，对 LLM 不现实
3. 它解决的问题被数据混合替代了——"防止旧能力退化"用 replay 30% 通用数据就解决了

修正后的二维图谱

注意一件事："主流 vs 前沿 vs 淘汰" 这个三分法本身有问题。它逼你把每个方法塞进一个抽屉，但很多方法同时既是工业主流又是学术前沿，或在 A 场景主流但在 B 场景未被采用。

更准确的描述是个二维图谱：

• 横轴：工业部署度（"大厂技术报告里有没有明确说在用"）
• 纵轴：学术活跃度（"近 12 个月有没有 NeurIPS/ICLR/ACL 级别的正面工作"）

不要用"已淘汰"这种词。LoRA-CPT 不是边缘——它在显存受限 + 不能损失原能力 + 接受较低学习上限的场景下是合理选择。EWC 在 Gemma2 上的 2025 年工作仍有正面结果。说"已淘汰"过于绝对，准确说法是"非工业主流，但学术圈仍有积极探索"。

真实的性能区间

CPT 性能必须分两个维度看：垂类提升 + 通用退化。只看 A 不看 B 是误导。基于公开技术报告（DeepSeek-Math、Qwen2.5-Math、CodeLlama、Llama-3 长上下文等）：

两个最重要的规律：

1. 基座越强，CPT 边际收益越小。Qwen2.5-7B 这种已经很强的基座，CPT 数学只能再榨 5-6 个点。不要期待 +30 点
2. 垂类提升和通用退化基本是个 Pareto 前沿。除非垂类语料正好对通用也有正迁移（DeepSeek-Math 的运气场景），否则提升垂类的代价就是退化通用

报告时画 Pareto 曲线（扫不同数据混合比例），比报单数字诚实十倍——也比单数字更有研究品味。

5. 第四层：MoE Upcycling 的真正机制

如果你确实落在右上象限（高 σ + 高 ρ）想做 MoE 路线，下一个问题是：怎么从 dense 出发？

Sparse Upcycling 的初始保证

最稳妥的起点是 Sparse Upcycling（Komatsuzaki et al., ICLR 2023, arXiv:2212.05055）：

1. 取 dense 模型 $\theta_0$
2. 把每层 FFN 复制 $N$ 份作为 $N$ 个 expert 的初始化
3. 加一个随机初始化的 router
4. 继续训练

理论保证：upcycle 后的 MoE 在 step 0 的输出 = 原 dense 模型的输出（所有 expert 相同，router 平均后等价于原 FFN）。你不会从一个比 dense 更差的起点出发，只会持平或变好——这是 worst-case 保证。

Vanilla Upcycling 的问题

但 vanilla upcycling 有个真实问题：所有 expert 一开始权重相同，router 没有 signal 去区分它们，训练初期非常不稳定。Expert collapse（所有 token 都路由到一两个 expert）和 routing oscillation（router 反复横跳）是常见症状。

解决方法有两条路：

• 路线 A：在初始化时人为打破对称性（加扰动、用不同 domain 的 dense 专家初始化等）
• 路线 B：改变切分方式，让初始化时不同 expert 就承载 FFN 不同维度的特征

Innovator（上海 AI Lab + 上交大，2025-07）走的是路线 B，且把它做成了完整的四阶段 pipeline。

Innovator 的四阶段 pipeline

Stage 1 — Scientific Expert Induction：基础 dense 模型在每个学科数据上独立 CPT，得到 K 个 dense 专家版本（物理、化学、生物、数学各一个）。这一步沿用了 BTX (Branch-Train-Mix, Sukhbaatar et al. Meta 2024) 的思路。

Stage 2 — Fine-grained Expert Splitting via FFN Dimension Decomposition（核心创新）

标准 Transformer 的 FFN 层（SwiGLU）有三个权重矩阵： - $W_{\text{gate}} \in \mathbb{R}^{d \times d_{\text{ff}}}$ - $W_{\text{up}} \in \mathbb{R}^{d \times d_{\text{ff}}}$ - $W_{\text{down}} \in \mathbb{R}^{d_{\text{ff}} \times d}$

其中 $d_{\text{ff}}$ 是 intermediate dim（通常 4d 或 11008/14336）。

Vanilla MoE upcycling：把整个 FFN 复制 N 份，每个 expert 维度跟原 FFN 完全相同。N 个 expert 总参数 = N × 原 FFN。

Fine-grained splitting：不复制，沿 $d_{\text{ff}}$ 维度切分。每段长度 $d_{\text{ff}}/N$，得到 N 个细粒度 expert。

关键性质：N 个细粒度 expert 的总参数量 = 原 FFN 参数量（没有增加！）。这跟 DeepSeek-MoE 的 fine-grained 思想完全一致。

为什么这个切分有意义？

• 直觉解释：vanilla upcycling step 0 时所有 expert 权重相同，router 没有 signal。Fine-grained splitting 因为切分位置不同，不同 expert 一开始就承载 FFN 不同维度上的特征，破坏对称性，router 立刻能学到分化模式
• 理论解释：FFN 的 intermediate 维度可以被理解为 superposition 中的"特征槽"——不同 neuron 编码不同特征。沿这个维度切分相当于给不同 expert 分配不同特征子集，天然就有 specialization 的归纳偏置

Stage 3 — Science-Aware Routing Warmup：固定所有 expert 参数，只训 router。用学科标签作为弱监督信号，让 router 学会"看到物理 token 就路由到物理 expert"。MoE 训练最大的困难就是 router 学不会 specialization，提前用监督信号训稳定，后面联合训练就不会崩。

Stage 4 — Generalist-Scientist Integration：所有参数（shared expert + fine-grained experts + router）一起更新。原 dense 模型作为 shared expert——也就是 shared expert 用预训练权重初始化，保证通用能力的下界。这一步本质上就是 in-place MoE CPT。

Nexus 解决另一个问题

Nexus（Cohere, EMNLP 2025）和 Innovator 解决的是完全不同的问题——不是怎么 upcycle，而是 upcycle 之后怎么继续添加新 expert。

它的核心创新是 Domain-aware Adaptive Routing：expert embedding $e_i$ 不是随机初始化，而是从对应训练数据的 domain embedding 投影得到。

关键好处：新 domain 来了，只需要训练对应的 dense expert，把它的 domain embedding 通过同一个投影矩阵投到 expert embedding 空间——router 自动就能正确路由新 expert，不需要重训整个 MoE。

实验数据：Nexus 在 initial upcycling 阶段相对 baseline 有 2.1% 的相对提升，在用有限 finetuning 数据扩展新 expert 时有 18.8% 的相对提升——后者才是它的真正价值。

简单粗暴的总结： - Innovator 解决"一次性垂类基座"问题 → 适合一次性的垂类项目 - Nexus 解决"持续扩展多 domain"问题 → 适合 SaaS 平台、多客户多 domain 部署

6. 一个跨层视角：Superposition

为什么要专门讲 superposition？因为它能用统一的语言讨论很多看似不相关的现象。

反直觉的事实

神经网络一层有 $d$ 个 neuron（参数维度），但它能编码的"概念/特征"数量远远超过 $d$，可以达到 $2^d$ 量级或更多。

这听起来像魔法，但有数学根据：在 $d$ 维空间里，严格正交的向量最多有 $d$ 个，但近似正交（夹角接近 90°）的向量可以多得多——具体地，能找到 $\exp(\epsilon^2 d)$ 个向量，两两之间的内积 < $\epsilon$。这是 Johnson-Lindenstrauss 引理的推论。

当 $d = 4096$（普通 LLM 的 hidden dim）、$\epsilon = 0.1$ 时，你能塞进 $\exp(40.96) \approx 6 \times 10^{17}$ 个近似正交的方向。

神经网络可以把 $10^{17}$ 个不同的"特征方向"塞进一个 4096 维的 hidden space，只要每个特征是稀疏激活的。Anthropic 在 2022 年的 Toy Models of Superposition 系统证明了这件事。

为什么 superposition 必然带来干扰

假设 hidden state $h$ 同时编码特征 A 和 B，方向 $v_A, v_B$。当输入只激活 A 时 $h = \alpha v_A$。

读取特征 A：$\hat{a} = h \cdot v_A = \alpha \|v_A\|^2$ ✓ 读对

读取特征 B：$\hat{b} = h \cdot v_B = \alpha (v_A \cdot v_B)$

如果 $v_A \perp v_B$（严格正交），$\hat{b} = 0$，没干扰。如果 $v_A$ 和 $v_B$ 不严格正交，$\hat{b} = \alpha \cos(v_A, v_B) \|v_A\|\|v_B\| \neq 0$——这就是干扰。

模型读特征 B 时，看到了不该看到的特征 A 的"残影"。

平时 superposition 还能 work，是因为特征是稀疏激活的——大多数时候只有少数特征同时激活，干扰被稀疏性"稀释"。但当激活密度上升、或要同时读多个特征时，干扰累积，模型表现下降。

用这把尺子度量每种方法

Innovator 的 fine-grained splitting 在 superposition 视角下尤其优雅——它不增加总参数（不增加总 superposition 容量），而是重新分配 superposition 槽位。这是为什么它在理论上比 vanilla upcycling 干净。

理解 superposition 让你能用统一语言回答多个独立问题：

• 为什么 LoRA "学得少但忘得也少"？ → 因为 LoRA 的 $\|\Delta\theta\|$ 被 rank 上界，superposition 干扰被天然限制
• 为什么模型越大，CPT 越不容易遗忘？ → 大模型 hidden dim 大，superposition 容量大，新特征更容易找到近似正交的方向
• 为什么 MoE 在垂类适配上理论更优？ → 因为它把新特征隔离到独立的 superposition 子空间
• 为什么 fine-grained splitting 比 vanilla upcycling 好？ → 因为它在初始化时就把 superposition 切开，破坏 expert 间的对称性

能把多个独立现象用一个机制串起来的概念，是研究品味的来源。

必要的 caveat：superposition 在小型 toy model 上被严格验证，在真实 LLM 上是经验性观察。"新旧特征在 superposition 里干扰"是有数学根据的直觉模型，不是被严格证明的定理。它跟"灾难性遗忘"也不是一回事——前者是机制假设，后者是观察现象。

7. 结语：选方法不是选答案，是选问题

回到开头："做一个垂域大模型，怎么训练？"

四层下来，这个问题的答案是嵌套的：

1. Q1-Q4 决定你在解的优化问题是什么（CPT 的本质是约束最优化）
2. pass@k × σ × ρ 决定方法象限（不同象限对应 RL / CPT / MoE / LoRA / RAG）
3. 工业 vs 学术二维图谱决定可选边界（"主流""前沿""淘汰"是糟糕的三分法）
4. MoE Upcycling 的真正机制决定如何下手（fine-grained splitting + superposition 视角）

每一层都改变上一层的判断。你要选 CPT 还是 RL，先问 pass@k；选 dense 还是 MoE，先看 σ × ρ；选 vanilla 还是 fine-grained upcycling，先想 superposition 怎么被切分。

工业里能直接交付的答案永远是 dense 全参 CPT + 数据混合 + replay——这是稳的。但研究品味的差异不在于"用了什么方法"，在于"为什么用、为什么不用别的、什么时候用别的、什么时候这套都不行"。

这才是一篇认真的研究 spec 里写 "First Principle" 时真正在找的东西。它不是某个 trick，是把训练方法从"工程调参"看作"嵌套决策"的能力。

参考资料

理论基础

• Scaling Laws for Neural Language Models — Kaplan et al., 2020. arXiv:2001.08361
• Training Compute-Optimal Large Language Models（Chinchilla）— Hoffmann et al., 2022. arXiv:2203.15556
• Toy Models of Superposition — Elhage et al., Anthropic, 2022

CPT / Data Mixing

• D-CPT Law — Que et al., NeurIPS 2024（阿里达摩院）
• DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining — Xie et al., 2023
• DeepSeek-Math 7B — DeepSeek-AI, 2024. arXiv:2402.03300
• Qwen2.5-Math — 2024. arXiv:2409.12122
• Code Llama — Meta, 2023. arXiv:2308.12950
• LoRA Learns Less and Forgets Less — Biderman et al., 2024

MoE 架构与 Upcycling

• Sparse Upcycling: Training MoE from Dense Checkpoints — Komatsuzaki et al., ICLR 2023. arXiv:2212.05055
• DeepSeekMoE — DeepSeek-AI, ACL 2024. arXiv:2401.06066
• OLMoE: Open Mixture-of-Experts Language Models — Allen AI, 2024. arXiv:2409.02060
• Upcycling Large Language Models into MoE — Nvidia, 2024. arXiv:2410.07524
• Branch-Train-MiX (BTX) — Sukhbaatar et al., Meta, 2024. arXiv:2403.07816
• MoE Jetpack: From Dense Checkpoints to Adaptive MoE — NeurIPS 2024. arXiv:2406.04801
• Innovator（fine-grained FFN splitting）— 上海 AI Lab + SJTU, 2025-07
• Nexus（domain-aware adaptive routing）— Cohere, EMNLP 2025 Findings

自进化 / 持续学习（学术活跃但工业未采用）

• Lifelong Language Pretraining with Distribution-Specialized Experts — Chen et al., ICML 2023. arXiv:2305.12281
• Elastic Weight Consolidation — Kirkpatrick et al., 2017（Gemma2 应用见 2025 年工作）

RL 视角

• DeepSeek-R1 — DeepSeek-AI, 2025
• OpenAI o1 / o3 系列技术报告

追踪资源

• TsinghuaC3I/Awesome-LLM-Continual-Learning —— CPT 与持续学习方向 living tracker