据36 氪披露,腾讯混元 AI Infra 团队把 HPC-Ops 推理算子库做了一次「全面升级」开源:包含五大关键算子,有效缓解 Attention 长尾延迟、显存搬运开销、跨卡通信三大工程瓶颈,多项指标显著优于现有开源基线。表面是「一次版本更新」,放在 2026 年中国大厂把 AI Infra 拆出来开源的整体节奏里,腾讯这次是在抢「推理卡时代」的开发者入口。

腾讯混元 HPC-Ops 升级 五大关键算子 性能数据

一、HPC-Ops 这次五大关键算子集中亮相

36 氪援引腾讯混元团队的公开信息,HPC-Ops 推出全新升级版本,包含五大关键算子,主要为满足推理系统对动态业务负载的适应性、核心模块对复杂精度和高性能融合算子的需求。

工程价值上,这次升级锁定三个实际瓶颈:Attention 长尾延迟、显存搬运开销、跨卡通信。这三个瓶颈决定了 P99 延迟、QPM(每分钟请求数)、单卡吞吐三项关键指标——也是云厂商最在意的「单位算力变现」基准。

HPC-Ops 最初在今年 1 月底正式开源,本次 6 月升级属于「开源后第一个大版本更新」。从「放出基础版本」到「五项算子集中亮相」只用了 5 个月,节奏明显比 FlashInfer、DeepGEMM 等海外主流算子库更快。

二、8 大类算子覆盖推理全链路

HPC-Ops 不是单一算子,而是一整套工业级 LLM 推理算子库。从开源仓库看,整体架构覆盖 8 大类:FusedMoE、Attention、机内/机间通信、Norm、Sampler、GroupGEMM,以及各类小算子的融合算子。

按推理阶段划分:Prefill 阶段用 FlashAttention 风格 Kernel;Decode 阶段用专门优化的 Paged Attention Kernel 处理长上下文 KV Cache 翻页;MoE 阶段用 FusedMoE Kernel 把多个专家的 GEMM 和通信融合;采样阶段用高性能 Sampler Kernel。

按数据类型划分:原生支持 BF16 与多种 FP8 量化方案(Blockwise FP8、PerTensor FP8)。Blockwise FP8 是当前业界最关注的方向,HPC-Ops 早在 2025 年底就支持了这一点,比 FlashInfer 更早。

「全链路 + 多精度」覆盖意味着开发者不用再把 vLLM、SGLang、FlashInfer、TGI 几个项目混着用——HPC-Ops 一套就能完成 Prefill、Decode、MoE、采样全流程。

三、性能跑分,在 H20 上把开源基线甩开 1-2 倍

HPC-Ops 的 GitHub 仓库公开了与主流算子库的对比,参照系是 FlashInfer、FlashAttention 2/3、TensorRT-LLM、DeepGEMM 等最强基线。

单算子层面:Attention(BF16)Decode 阶段相比 FlashInfer/FlashAttention 2/3 最高提速 2.22 倍;Attention(FP8)Decode 最高 2.0 倍;FusedMoE(FP8)相比 TensorRT-LLM 和 vLLM 最高提速 1.49 倍;GroupGEMM(FP8)相比 DeepGEMM 最高 1.88 倍。

端到端层面:在腾讯混元自家生产环境里,HPC-Ops 让混元模型的 QPM 提升 30%,DeepSeek 模型的 QPM 提升 17%。需要强调的是,优化目标不是 H100/H800 这些「训练卡」,而是 H20、L20 等「推理型计算卡」——受限于出口管制,这是国内云厂商实际部署线上服务时唯一能拿到的硬件。

中国 AI Infra 开源第一次在「国产硬件适配」这个维度上拿出了量化数据。

四、中国大厂 AI Infra 开源战,阿里、华为、字节都拆出来了

2026 年中国大厂几乎同步在「AI Infra 开源」上发力,腾讯这次升级只是最新一枪。

阿里云 PAI 是整套 AI 平台底座,灵骏(DeepGPU)是分布式训练框架。2025 年底阿里把 PAI 上的关键模块开源——BladeLLM(推理引擎)、PAI-DSW、EAS 等,覆盖训练、推理、部署全链路。

华为昇思 MindSpore 2025 年 2.x 重点重构了动态图与编译优化,主打「端-边-云协同」和「自动并行」。昇腾硬件 + MindSpore 是华为「软硬一体」的押注。

字节 BytePS 主打 GPU 集群通信优化;veGiantModel 是大模型训练框架。字节策略更接近「内部工具外溢」,节奏比阿里、华为略慢。

腾讯 HPC-Ops 侧重「推理性能」和「国产硬件适配」;之前开源的 Hunyuan-Large(389B 参数 MoE)也是同一团队主导。

横向看,四家策略差异明显:阿里「全链路平台」、华为「软硬一体」、字节「通信与训练」、腾讯「推理算子与硬件适配」。底层逻辑一致:把 AI Infra 拆出来开源,本质是把「用云挖矿」的工具外溢成「行业标准」。

五、大厂抢开发者、卡算力生态、推标准化

三个真实驱动力。

第一,抢开发者入口。AI Infra 是「贴着开发者」的层——比模型层更底层、比硬件层更易用。一个好用的开源算子库,会让几千个 AI 工程师在写新模型、新服务时优先调用你的 API——「代码即文档」的品牌渗透,比市场推广便宜得多。

第二,卡算力生态。中国云厂商吃了不少「硬件受限」的亏:H100、H800 拿不到,最后只能用 H20。HPC-Ops 这种专门为 H20 优化的算子库,等于在「被卡脖子的硬件」上做了一层「软件层的护城河」——同样一块 H20 跑你的算子库比别人快 30%,客户自然就来了。

第三,推行业标准化。当所有大厂的 AI Infra 都开源时,开发者会被「同质化」到一个事实标准上:无论阿里云、腾讯云还是华为云,底下的算子库、推理引擎、训练框架 API 都差不多。客户切换成本降低,云厂商靠「上层服务」和「数据飞轮」差异化。

六、HPC-Ops 这次「小升级」背后的「大卡位」

把这次升级放回 2026 年中国 AI Infra 的整体节奏看,腾讯的关键不在「五大关键算子」本身,而在三个层面的卡位。

技术层:HPC-Ops 在 H20 推理卡上把开源基线甩开 1-2 倍,意味着腾讯在「国产硬件 + 推理优化」上拿到事实标准的话语权。FlashInfer、DeepGEMM 没有针对 H20 做深度优化,HPC-Ops 实际上填补了「开源生态」在这块硬件上的空白。

生态层:HPC-Ops 已被 vLLM、SGLang 等主流推理框架集成,意味着腾讯的算子库可以通过「间接使用」触达远超腾讯自身体量的开发者群体——一种「开源杠杆」打法。

战略层:腾讯把 HPC-Ops 和 Hunyuan-Large 一起开源,已形成「基础模型 + 推理 Infra」的双轮布局。比起阿里「全平台」和华为「软硬一体」的重投入路线,腾讯选择「集中力量在推理性能」做差异化卡位。

短期看,这次升级不会让任何一家大厂「赢者通吃」;长期看,中国 AI Infra 开源生态的「事实标准」会在 2026-2027 年尘埃落定,HPC-Ops 这次「小升级」是腾讯卡位战中落下的关键棋子。


参考来源

  • 36 氪:https://36kr.com/newsflashes/3848528390198535
  • 腾讯云:https://cloud.tencent.com/developer/article/2628442
  • GitHub:https://github.com/Tencent/hpc-ops