【大模型基础设施工程】14：量化工程 —— INT8 / FP8 / FP4 / AWQ / GPTQ 怎么选
本文详细介绍了大模型量化工程中的各种量化方法，包括FP8、FP4、MX等数据类型，以及GPTQ、AWQ、SmoothQuant等技术。文章分析了KV Cache量化的收益边界，提供了按硬件选择位宽的规则，并给出了AutoAWQ + vLLM、TensorRT-LLM FP8的落地命令，帮助读者在实际应用中选择合适的量化方案。
博客雷达不转载正文。这里只有标题、作者、时间和一小段 AI 生成的摘要；全文在作者自己的站点上，阅读请点上面的按钮过去——文章的版权一直在原作者手里。
你也在写博客？做一张「已被博客雷达收录」的徽章挂回自己的站，想挂就挂，也不占首页。