AMD 推出 vLLM-ATOM 插件,加速 DeepSeek、Kimi 等 AI 推理性能
IT之家 5 月 12 日消息,科技媒体 Wccftech 昨日(5 月 11 日)发布博文,报道称 AMD 推出 vLLM-ATOM 插件,在不改动现有 vLLM 命令、API 和工作流的前提下,提升 DeepSeek-R1、Kimi-K2 和 gpt-oss-120B 等大语言模型推理性能。IT之家注:vLLM 是面向大语言模型部署的开源推理框架,重点优化高并发服务场景下的吞吐和显存利用率。与...