腾讯混元AI Infra核心技术开源，推理吞吐提升30%
创始人
2026-02-04 21:38:15
0次

IT之家 2 月 4 日消息，腾讯混元 AI Infra 团队今日宣布推出开源生产级高性能 LLM 推理核心算子库 HPC-Ops。

该算子库宣称基于生产环境痛点，采用 CUDA 和 CuTe 从零构建，通过抽象化工程架构、微架构深度适配及指令级极致优化等，降低底层算子开发门槛，将核心算子性能逼近硬件峰值，实现了性能突破。

▲ HPC-Ops 算子库架构图

在真实场景下，基于 HPC-Ops，混元模型推理 QPM 提升 30%，DeepSeek 模型 QPM 提升 17%。同时，在单算子性能方面，HPC-Ops 实现 Attention 相比 FlashInfer / FlashAttention 最高提升 2.22 倍；GroupGEMM 相比 DeepGEMM 最高提升 1.88 倍；FusedMoE 相比 TensorRT-LLM 最高提升 1.49 倍。

在未来的发展规划中，HPC-Ops 将持续深耕大模型推理性能的突破方向：

  • 一方面，将重点研发稀疏 Attention 算子，针对性解决长上下文大模型的内存与算力瓶颈；
  • 另一方面，会拓展更丰富的量化策略，覆盖 4bit/8bit 混合精度等更多量化方案，进一步平衡推理速度与模型精度；
  • 此外，算子库还将布局计算-通信协同优化的内核，通过融合多 GPU 间的计算逻辑与通信流程，大幅降低分布式推理场景下的通信开销，为超大规模大模型的高效部署提供底层支撑。

IT之家附 HPC-Ops 开源地址如下：

上一篇：郴州：赓续“半条被子”为民情怀 书写“健康郴州”时代答卷

下一篇：SpaceX收购xAI，马斯克身家或破8000亿美元成全球首人

相关内容

热门资讯

退保率上升、合规承压！中信保诚... 1月30日，中信保诚人寿发布2025年第四季度偿付能力报告摘要。数据显示，2025年该公司实现净利润...
郴州：赓续“半条被子”为民情怀... ■大众卫生报记者郭芝桃通讯员黄桂山 徐静静 彭贵欢 郴州，湖南“南大门”，“半条被子”故事的发生地。...
光伏“上天”？多只热门概念股密... 财联社2月4日讯，今日有消息称，马斯克团队于上周对包括TCL中环、晶科能源、晶盛机电等在内的多家中国...
联想海尔齐入局，杨浩涌回报率达... （图片来源：视觉中国） 蓝鲸新闻2月4日讯（记者 邵雨婷）2026年开年，工业机器人赛道IPO热潮持...
赛力斯，需要浴“火山”重生 文｜象先志 在 2026 年初的 A 股盘面上，赛力斯的 K 线图走出了一种诡异的背离。 财报数据...
史上最大IPO要来了 马斯克很有可能成为人类历史上首个“万亿美元首富”。 来源：投中网 作者：陶辉东 编辑：王庆武 Spa...
合并不只给AI输血，也是“马斯... 图源：xAI官方账号 记者 翟芳雪 编辑 高宇雷 美国时间2月2日，马斯克旗下的人工智能公司xAI与...
电商进入「智绘」时代：邻商科技... 义乌一个档口老板，每天要处理上百个新品上架。过去他花找模特、租影棚、等修图的时间和成本可以说是数不胜...
2月4日中证银行（399986... 证券之星消息，2月4日，中证银行（399986）指数报收于7141.43点，涨1.41%，成交291...
千问花30亿“请客”，是想打一... 文｜唐辰同学 唐辰 千问“春节请客”，要的不只是流量。 在腾讯元宝春节红包活动评价两极时，阿里千问...
资金动向 | 北水爆买港股超1... 2月4日，南下资金净买入港股133.73亿港元。 其中，净买入腾讯控股22.31亿、阿里巴巴-W 1...
股价20cm涨停！晶科能源与马... 来源：图虫 2月4日，太空光伏板块成为A股热点。开盘不到半小时，太空光伏板块突然拉升，午后太空光伏...
黄震委员：充分发挥民营龙头企业... 2月4日，政协上海市第十四届委员会第四次会议举行大会发言，上海市政协委员、黄浦区工商联主席、豫园股份...
让全球游客买得爽、玩得深、带得... 东方网记者程琦2月4日报道：当申城的街头巷尾挂起火红的灯笼，南京路步行街的霓虹与外滩的钟声交相辉映，...
沪指重返4100点，A500E... 2月4日，A股市场低开高走，沪指涨0.85%重返4100点，盘面上，市场热点快速轮动，全市场超320...
2025折扣店众生相：互联网大... 作者 | 观潮新消费 戴雨 2026年伊始，中国折扣零售赛道已是一片热闹。新旧玩家密集落子，开店节...
多重压力下，牧原股份港股IPO... 文 | 刘振涛 2025年以来，中国内地企业赴港上市掀起了热潮，从新能源到生物医药，从人工智能到新兴...
2026中国行业趋势深度解读：... 2026年作为“十五五”规划的开局之年，中国经济正站在高质量发展的关键转型节点。罗兰贝格《预见202...
每日收评沪指探底回升重返410... 财联社2月4日讯，市场探底回升，沪指重返4100点，深成指翻红，此前一度跌超1%，创业板指午后跌幅收...
赎回态势缓和！权重宽基ETF份... 财联社2月4日讯（编辑 梓隆），近期，A股市场迎来部分修复，截至今日（2月4日）收盘，上证指数重返4...