美团首发全新深度搜索引擎 DeepSeek R1，搭载INT8无损技术，搭配A100实现惊人50%吞吐提升

揭秘美团全新深度搜索引擎 DeepSeek R1：INT8无损技术搭配A100实现惊人50%吞吐提升的黑科技之旅

　　 3月7日消息，美团搜推机器学习团队在3月4日公布了最新的开源成果，成功实现了对DeepSeekR1模型的INT8精度量化，且几乎未损失任何性能。这一进展不仅展示了他们在模型优化方面的技术实力，也为业界提供了一个高效的解决方案。这表明美团在推动AI技术进步方面又迈出了坚实的一步，相信未来会在更多领域带来积极的影响。

　　 DeepSeekR1的原始模型权重采用FP8数据格式，对GPU芯片有一定的限制，仅限于英伟达的新型GPU（例如Ada、Hopper架构的芯片）上运行。其他较旧型号的GPU（如A100）则无法直接部署该模型。

　　 目前，经过整合，量化代码现已成功加入到开源LLM推理框架SGLang中，而量化模型也已发布在HuggingFace社区，为用户提供便捷的访问途径。根据官方的测试结果，采用INT8量化技术的满血版DeepSeekR1在A100上的部署表现非常出色，与BF16相比，其吞吐量提升了50%。 这种技术进步不仅极大地提高了模型的运行效率，还降低了硬件成本，使得更多的研究者和开发者能够利用先进的AI技术进行创新。特别是对于那些需要处理大量数据和复杂计算任务的应用场景来说，这种提升无疑是一个巨大的利好消息。此外，开放的社区模式和共享资源的策略，也为整个行业的发展注入了新的活力。

　　 附开源地址：

　　 https://huggingface.co/meituan/DeepSeek-R1-Channel-INT8