腾讯混元AI Infra核心技术开源，推理吞吐提升30%
创始人
2026-02-04 21:38:15
0次

IT之家 2 月 4 日消息，腾讯混元 AI Infra 团队今日宣布推出开源生产级高性能 LLM 推理核心算子库 HPC-Ops。

该算子库宣称基于生产环境痛点，采用 CUDA 和 CuTe 从零构建，通过抽象化工程架构、微架构深度适配及指令级极致优化等，降低底层算子开发门槛，将核心算子性能逼近硬件峰值，实现了性能突破。

▲ HPC-Ops 算子库架构图

在真实场景下，基于 HPC-Ops，混元模型推理 QPM 提升 30%，DeepSeek 模型 QPM 提升 17%。同时，在单算子性能方面，HPC-Ops 实现 Attention 相比 FlashInfer / FlashAttention 最高提升 2.22 倍；GroupGEMM 相比 DeepGEMM 最高提升 1.88 倍；FusedMoE 相比 TensorRT-LLM 最高提升 1.49 倍。

在未来的发展规划中，HPC-Ops 将持续深耕大模型推理性能的突破方向：

  • 一方面，将重点研发稀疏 Attention 算子，针对性解决长上下文大模型的内存与算力瓶颈；
  • 另一方面，会拓展更丰富的量化策略，覆盖 4bit/8bit 混合精度等更多量化方案，进一步平衡推理速度与模型精度；
  • 此外，算子库还将布局计算-通信协同优化的内核，通过融合多 GPU 间的计算逻辑与通信流程，大幅降低分布式推理场景下的通信开销，为超大规模大模型的高效部署提供底层支撑。

IT之家附 HPC-Ops 开源地址如下：

上一篇：郴州：赓续“半条被子”为民情怀 书写“健康郴州”时代答卷

下一篇：SpaceX收购xAI，马斯克身家或破8000亿美元成全球首人

相关内容

热门资讯

原创 4... 写在文章前的声明：在本文之前的说明：本文中所列的投资信息，只是一个对基金资产净值进行排行的客观描述，...
胜宏科技港股大涨49% 做完英... 记者 陈月芹 4月21日，全球AI算力板龙头胜宏科技（02476.HK）登陆港交所，上市首日股价大涨...
永赢基金：聚焦“科技新锐”，科... 数据来源：Wind，时间统计区间为2025/1/1-2026/4/21，指数过往表现不预示未来，不构...
五大阅读趋势显现！当当网发布2... 在第31个世界读书日即将来临之际及首个全民阅读活动周期间，当当网正式发布2026国民阅读洞察报告。 ...
业绩逐季回暖 老百姓大药房一季... 上证报中国证券网讯（记者 夏子航）4月22日晚，老百姓大药房发布2025年年报和2026年一季报。今...
中国20强城市大洗牌：苏州接近... 中国的城市经济竞争格局一直在变化，每年发布的GDP数据都会对城市经济实力进行重新排列。2025年榜又...
直击金宏气体股东会：预期年内氦... 《科创板日报》4月22日讯（记者 郭辉）金宏气体日前举行2025年度股东大会。会上该公司审议了公司年...
5月1日起，俄据悉将叫停哈萨克... 据行业消息人士透露，俄罗斯将于5月1日起停止经友谊管道转运哈萨克斯坦输往德国的石油，相关调整计划已送...
深化具身智能生态布局 京东携手... 4 月 22 日，京东与国内消费级人形机器人头部企业松延动力正式达成三年期战略合作。双方将围绕产品研...
原创 帮... 先问你一个问题，美伊停火今晚到期，按常理避险情绪该升温，黄金应该涨吧？结果恰恰相反——原油涨了，黄金...
300295、600889，将... 三六五网、南京化纤，将被*ST。 公司股票自4月23日开市起停牌一天，于4月24日开市起复牌并实施退...
能源大变天！外媒：羡慕中国的石... 这一次油价突破 110 美元的能源危机，着实魔幻。如果放在十年前，没人会相信中国能在这场风波中获利，...
衡水老白干：2025年营收41...
黄金涨跌两难，现在还能上车吗？ 中新网4月22日电(记者 左雨晴) 四月以来，美伊局势反复拉扯，美联储降息预期一变再变。黄金价格在4...
“我身体健康”，库克现身员工大... 当地时间4月21日，受苹果官宣CEO换届影响，公司股价盘中下探超2%，总市值失守4万亿美元关口，收盘...
库克留下一个悬念 工程师能否拯救创新节奏？ 听筒Tech（ID:tingtongtech）原创 文 | 赵 森 ...
探索消费信贷与社交支付深度融合... 腾讯这一金融产品再添新功能，4月19日，北京商报记者注意到，微信分付灰度测试转账功能引发热议，在向微...
土耳其主要银行股指早盘下跌2% 每经AI快讯，4月20日，土耳其主要银行股指早盘下跌2%。 每日经济新闻
好用的OTA代运营源头厂家 在如今竞争激烈的酒旅行业中，OTA代运营服务成为了众多酒店、民宿提升竞争力的关键。但市场上的代运营厂...
成都五一出游全国热门第三 “五一”假期临近，同程旅行最新发布的《2026“五一”旅行趋势报告》显示，今年“五一”期间成都同时位...