一、DeepSeek V3的模型创新 1. 架构设计突破 混合专家（MoE）架构 V3采用稀疏MoE架构，总参数达671B，但每次推理仅激活37B参数，通过动态路由选择专家模块，平衡性能与计算成本。其路由系统包含1个共享专家和256个路由专家，支持动态偏差调整以优化负载均衡，显著提升计算效率。 多头潜在注意力（MLA）技术 通过低秩压缩键值（KV）缓存，将自注意力计算的复杂度从O(n²)进一步降低，减少内存占用并提升推理速度。MLA采用投影矩阵存储token信息，在几乎无损信息的情况下优化注意力机制。 2. 训练与工程优化 多Token预测（MTP） 在训练阶段，模型同时预测多个连续位置的token，增强对上下文依赖关系的捕捉能力，提升训练效率约2-3%。 无辅助损失的负载均衡策略 创新性地消除传统MoE架构中辅助损失函数对模型性能的干扰，通过动态偏差调整实现更自然的专家负载均衡。 混合精度与并行计算 采用FP8混合精度训练框架，结合DualPipe流水线并行技术，减少GPU内存消耗并提高硬件利用率。通过优化MoE专家节点的通信瓶颈，训练效率提升显著。 3. 性能与成本优势 极低的训练成本 基于14.8T高质量Token的预训练，总成本约GPT-4的1/20，在数学、代码等任务中性能媲美Claude-3.5-Sonnet和GPT-4o。 二、DeepSeek R1的模型创新 1. 架构改进与任务优化 强化学习驱动的推理能力 R1-Zero版本完全依赖强化学习（RL）训练，无需监督微调（SFT），通过自我验证和反思机制优化推理路径。 模块化设计与动态权重分配 引入任务特定子模型组件，动态调整注意力权重分布，提升数学、代码等复杂任务的推理效率。 模型压缩与稀疏化 通过混合稀疏矩阵操作，参数规模缩减至原型的70%，在基准测试中保持或超越更大模型的性能。 2. 训练与部署创新 多阶段训练策略 结合冷启动SFT、大规模RL和全场景RL优化，逐步提升模型的可读性和任务泛化能力。例如，通过长链思维（CoT）数据微调解决早期RL输出的可读性问题。 低代码优化与硬件适配 采用NVIDIA PTX编程替代CUDA，实现寄存器分配和线程级优化，提升计算效率。结合V3的MoE架构，仅激活相关专家模块以降低资源消耗。 3. 性能与应用场景 对标顶尖闭源模型 在数学推理（如MATH-500）、编程竞赛（Codeforces）等任务中，R1性能与OpenAI o1相当 可解释性增强 采用Long CoT方法完整展示推理过程，为研究社区提供透明化的模型行为分析，助力大模型可解释性研究。 #大模型 #deepseek