TensorFlow在推荐系统中的分布式训练优化实践
admin
2024-01-25 02:25:20
0次

美团内部深度定制的TensorFlow版本，基于原生TensorFlow 1.x架构与接口，从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景中，分布式扩展性提升10倍以上，单位算力性能也有显著提升，并在美团内部业务中大量使用，本文介绍了相关的优化与实践工作。

  • 1 背景
  • 2 大规模训练优化挑战
    • 2.1 业务迭代带来的挑战
    • 2.2 系统负载分析
  • 3 优化实践
    • 3.1 大规模稀疏参数介绍
    • 3.2 分布式负载均衡优化
    • 3.3 通信优化
    • 3.4 延迟优化
    • 3.5 单实例PS并发优化
    • 3.6 单位算力吞吐优化
  • 4 大规模稀疏算法建模
  • 5 总结与展望

1 背景

TensorFlow（下文简称TF）是谷歌推出的一个开源深度学习框架，在美团推荐系统场景中得到了广泛的使用。但TensorFlow官方版本对工业级场景的支持，目前做得并不是特别的完善。美团在大规模生产落地的过程中，遇到了以下几方面的挑战：

  • 所有参数都是用Variable表达， 对于百亿以上的稀疏参数开辟了大量的内存，造成了资源的浪费；
  • 只支持百级别Worker的分布式扩展，对上千Worker的扩展性较差；
  • 由于不支持大规模稀疏参数动态添加、删除，增量导出，导致无法支持Online Learning；
  • 大规模集群运行时，会遇到慢机和宕机；由于框架层不能处理&#x
词库加载错误:未能找到文件“E:\highferrum_mysql\Configuration\Dict_Stopwords.txt”。

上一篇：联赛杯-切尔西总比分6-2米堡晋级决赛 帕尔默双响恩佐迪萨西破门 切尔西加时赛2-1战胜帕尔梅拉斯 切尔西晋级联赛杯4强

下一篇：被乌军导弹击落？载65名乌战俘的俄运输机坠毁 飞机在空中着火并开始解体 俄运输飞机被击落事件 俄罗斯运输机再次被击落事件

相关内容

热门资讯

2026义乌电商博览会·跨境服... 在全球数字经济浪潮下，中国电商服务生态凭借完善的产业链协同与持续创新的技术能力，正成为推动跨境贸易增...
罗永浩需要为西贝预制菜风波担责... 16日下午，贾国龙更新微博称：“今晚(16日)10点将就罗永浩对西贝的重大污蔑诽谤一一全面回应”，并...
融资余额破新高，看懂资金才靠谱 最近A股融资余额持续攀升，创下历史新高，不少板块和个股都获得了融资资金的重点关注。分板块来看，电子、...
母婴APP用户粘性对比：强关系... 概述 母婴类移动应用在用户定位、业务模式与生态重心方面存在差异。以妈妈网、宝宝树和亲宝宝为例，三者分...
继蓝箭航天后，又一个商业航天企... 日前，证监会公开发行辅导公示系统显示，中科宇航技术股份有限公司（以下简称为“中科宇航”）于近日完成I...
爱科微启动A股上市辅导 来源：界面新闻 1月17日，证监会网站披露，爱科微科技（上海）股份有限公司已启动A股上市辅导，辅导机...
原创 欧... 先别急着喊胜利，欧洲自己先打起了退堂鼓。——这一句悄悄话，最近在巴黎、罗马、柏林的政坛圈子里悄然流传...
原创 吃... 武汉起家的Manus公司，现在被中国商务部正式立案审查了。 这事在科技圈炸开了锅，不是因为收购金额有...
原创 油... 1.17-蛋价分析：蛋价升温，火箭上涨！ 时光荏苒，在国内畜禽养殖方面，去年下半年，国内鸡蛋价格维持...
马斯克因星链与欧洲最大航空公司... 奥利里与马斯克 北京时间1月17日，据《商业内幕》报道，埃隆·马斯克(Elon Musk)因为星链问...
原创 分... 大家好，我是小圆！当人工智能还在芯片和代码中飞速进化时，另一条赛道正悄悄在纳米尺度上展开。 最近，加...
“降息”降首付！楼市政策组合拳... 1月15日，人民银行新闻发言人、副行长邹澜在国新办新闻发布会上表示，下调各类结构性货币政策工具利率0...
原创 美... 马杜罗的罪名虽然尚未确定，特朗普却已悄然出手，将委内瑞拉的石油资源首次变现。近日，一名美国官员透露，...
晕了晕了！宽基指数ETF遭主力... 每经记者｜叶峰 每经编辑｜肖芮冬 本周股指涨跌互现，沪深两市股票型ETF和跨境型ETF合计净流出1...
国投资本跌1.04%，成交额3... 来源：新浪证券-红岸工作室 1月16日，国投资本跌1.04%，成交额3.01亿元，换手率0.61%，...
越秀资本：拟出售中信证券不超过... 北京商报讯（记者 刘宇阳）1月16日，广州越秀资本控股集团股份有限公司（以下简称“越秀资本”）发布公...
追觅CEO俞浩回应近期质疑：过... 1月17日，追觅CEO发文回应近期质疑。 俞浩表示，把目标定在百万亿美元市值一事，时间是未来，不是一...
沃尔玛牵手小红书，首家联名店落... 深圳商报·读创客户端首席记者 刘琼 1月16日，沃尔玛与小红书共同宣布，双方达成深度合作，将围绕商品...
奥特曼秘密持股OpenAI！法... 梦晨 发自 凹非寺 量子位 | 公众号 QbitAI 硅谷最贵的一场官司，有了新进展。 马斯克诉Op...
消费观察| 种草到造货，沃尔玛... 深圳商报首席记者 刘琼 文/图 沃尔玛和小红书“玩出”新花样”。1月16日，沃尔玛和小红书首家联名店...