DeepSeek-V4 模型结构（6）：优化器与稳定性，Muon
本文探讨了DeepSeek-V4模型中的优化器与稳定性，特别是Muon优化方法。文章从Adam逐元素、Muon逐矩阵的动机出发，介绍了谱范数下最速下降的解是梯度的正交化，以及Newton-Schulz迭代如何不做SVD地逼近它。还讨论了V4的混合迭代、多项式形状、RMS匹配、AdamW参数、Q/KV归一化、Anticipatory Routing和MTP等内容。
博客雷达不转载正文。这里只有标题、作者、时间和一小段 AI 生成的摘要；全文在作者自己的站点上，阅读请点上面的按钮过去——文章的版权一直在原作者手里。
你也在写博客？做一张「已被博客雷达收录」的徽章挂回自己的站，想挂就挂，也不占首页。