DeepSeek-V4 模型结构（2）：序列维度（中），Lightning Indexer 与稀疏选择
本文深入分析了DeepSeek-V4模型中的序列维度处理，特别是Lightning Indexer与稀疏选择机制。文章从DeepSeek-V3.2的DSA技术出发，解释了indexer的打分公式、ReLU和FP4的来源，以及如何利用主注意力分布进行训练。同时探讨了V4中将索引对象从token替换为压缩块后的改进，并详细解析了一层CSA的完整维度处理过程。
博客雷达不转载正文。这里只有标题、作者、时间和一小段 AI 生成的摘要；全文在作者自己的站点上，阅读请点上面的按钮过去——文章的版权一直在原作者手里。
你也在写博客？做一张「已被博客雷达收录」的徽章挂回自己的站，想挂就挂，也不占首页。