人工智能专题：DeepSeekV3技术报告

今天分享的是：人工智能专题：DeepSeekV3技术报告

报告共计：53页

《DeepSeek-V3 Technical Report》详细介绍了DeepSeek-V3这一强大的混合专家（MoE）语言模型。该模型总参数达671B，每个令牌激活37B参数，在追求强大性能的同时保持经济成本。在架构上，采用多头潜在注意力（MLA）和DeepSeekMoE架构，并创新地引入辅助无损负载均衡策略和多令牌预测训练目标，提升模型性能。训练方面，支持FP8混合精度训练，设计DualPipe算法优化训练框架，克服跨节点MoE训练的通信瓶颈，实现近全计算通信重叠，降低训练成本，仅用2664K H800 GPU小时完成预训练，总训练成本为2788K H800 GPU小时（约557.6万美元）。预训练阶段，在14.8T高质量多样化令牌上进行训练，训练过程稳定，还进行了长上下文扩展。通过一系列基准测试评估，DeepSeek-V3-Base在多数基准测试中表现出色，成为目前最强的开源基础模型，在代码和数学任务上优势显著，其聊天版本性能也可与领先的闭源模型相媲美。后训练阶段，通过监督微调（SFT）和强化学习（RL），使模型更好地符合人类偏好，进一步提升性能。此外，文章还指出了模型在硬件设计方面的改进建议，包括对通信硬件和计算硬件的期望，以促进未来硬件更好地支持大规模模型训练 。

以下为报告节选内容