DeepSeek-V4.1 模型结构（7）：输入端与优化器
本文详细介绍了DeepSeek-V4.1模型的输入端和优化器部分。输入端使用DeepSeek-ViT处理1302×1302图像，将其转换为994个位置，并解释了文本和图像token使用不同负载均衡偏置的原因。优化器方面，head-wise Muon将query权重按头切开并正交化，Sinkhorn-balanced update用行列交替归一化代替Adam，只需存储一份动量即可训练196B参数的Engram表。
博客雷达不转载正文。这里只有标题、作者、时间和一小段 AI 生成的摘要；全文在作者自己的站点上，阅读请点上面的按钮过去——文章的版权一直在原作者手里。
你也在写博客？做一张「已被博客雷达收录」的徽章挂回自己的站，想挂就挂，也不占首页。