TensorFlow在推荐系统中的分布式训练优化实践
admin
2024-01-25 02:25:20
0次

美团内部深度定制的TensorFlow版本，基于原生TensorFlow 1.x架构与接口，从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景中，分布式扩展性提升10倍以上，单位算力性能也有显著提升，并在美团内部业务中大量使用，本文介绍了相关的优化与实践工作。

  • 1 背景
  • 2 大规模训练优化挑战
    • 2.1 业务迭代带来的挑战
    • 2.2 系统负载分析
  • 3 优化实践
    • 3.1 大规模稀疏参数介绍
    • 3.2 分布式负载均衡优化
    • 3.3 通信优化
    • 3.4 延迟优化
    • 3.5 单实例PS并发优化
    • 3.6 单位算力吞吐优化
  • 4 大规模稀疏算法建模
  • 5 总结与展望

1 背景

TensorFlow（下文简称TF）是谷歌推出的一个开源深度学习框架，在美团推荐系统场景中得到了广泛的使用。但TensorFlow官方版本对工业级场景的支持，目前做得并不是特别的完善。美团在大规模生产落地的过程中，遇到了以下几方面的挑战：

  • 所有参数都是用Variable表达， 对于百亿以上的稀疏参数开辟了大量的内存，造成了资源的浪费；
  • 只支持百级别Worker的分布式扩展，对上千Worker的扩展性较差；
  • 由于不支持大规模稀疏参数动态添加、删除，增量导出，导致无法支持Online Learning；
  • 大规模集群运行时，会遇到慢机和宕机；由于框架层不能处理&#x
词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：联赛杯-切尔西总比分6-2米堡晋级决赛 帕尔默双响恩佐迪萨西破门 切尔西加时赛2-1战胜帕尔梅拉斯 切尔西晋级联赛杯4强

下一篇：被乌军导弹击落？载65名乌战俘的俄运输机坠毁 飞机在空中着火并开始解体 俄运输飞机被击落事件 俄罗斯运输机再次被击落事件

相关内容

热门资讯

探索中药材薏苡仁的健康之道——... 在现代生活中，越来越多的人开始关注健康饮食，而中药材的应用也逐渐被大众所接受。今天，我想与大家分享一...
英伟达等领投，OpenRout... AI模型路由平台OpenRouter宣布完成1.13亿美元B轮融资。本轮投资方阵容豪华，由英伟达（N...
本周10家上会！净利润8700... 来源：市场资讯 （来源：IPO上市实务） 本周（6月22-28日）IPO审核6家企业，北交所4家，科...
原创 全... 六月中旬，伊朗那边和美国签了和平协议备忘录，霍尔木兹海峡也部分通航了。 按老规矩讲，仗一停，避险的钱...
行骗剧本在卖茶直播间重演：27... 总台《财经调查》记者以合作为由，联系上了“易经茶叶”直播间的负责人，这个直播间拥有12万粉丝，可他们...
“甲酰胺纸尿裤事件”调查记者发... 近日，《经济参考报》报道“甲酰胺纸尿裤事件”引发关注。报道中提到：委托专业检测机构对市场上部分品牌婴...
从脾论治中心性浆液性脉络膜视网... 导读：今天学习治疗中心性浆液性视网膜脉络膜炎（中浆病）的中医临证思路。 不耻下问而茅塞顿开 （视物...
原创 6... 钱潮汹涌！美股单周吸金超万亿，AI狂热与地缘暖风共舞 最近，华尔街的交易员们可能笑得合不拢嘴。一组刚...
传音冲刺港股IPO 将形成“A... 快科技6月21日消息，据媒体报道，深圳传音控股股份有限公司日前向港交所主板递交H股上市申请，独家保荐...
原创 2... 文、编辑|诺斯罗普的笔记 回望过去十几年，中国家庭对房子的执着已经渗进了柴米油盐，谁家不把房子当作最...
宇树科技IPO过会 A股将迎来... 高性能通用机器人企业宇树科技科创板IPO顺利过会，即将登陆A股市场，成为市场公认的“具身智能第一股”...
算力金属狂飙：AI 引爆锡钽铟... 深圳商报·读创客户端记者 胡星访 文／图 在AI算力需求刺激下，小金属价格持续上涨。6 月 18 日...
和讯赵冰忆：个股若同步完成目标... 6月18日，和讯赵冰忆表示，昨天盘面已兑现创业板指数日线节奏，整体反弹接近尾声，今天是节前最后一个交...
贵州茅台，分红超350亿元 今日看点 聚焦一：智微智能：拟不超40亿元采购服务器及配套设备 加码智算业务 公司于2026年6月1...
原创 银... 先抛个数据，大家感受一下。央行的统计摆在那儿，2023年到2025年这三年，居民存款多了，四舍五入约...
可控核聚变进入产业化前夜 机构... 人民财讯6月20日电，可控核聚变进入产业化前夜。我国已将核聚变纳入“十五五”规划未来产业布局，国家原...
原创 还... 头条号墨山看客 首发呈现 大好河山，邀您共看 Hello，大家好呀！欢迎来到老墨聊时事， 6月18日...
商道创投网・会员动态｜Mani... 《商道创投网》2026 年 06 月 21 日从官方获悉：Manifold AI 流形空间近日完成数...
大跌，黄金熊市来了吗？开了又关...
原创 歌... 文|嘴嘴 编辑|嘴嘴 很多人第一次认识李琼，都是通过那首传遍大江南北的《山路十八弯》。旋律一响起，...