图片来源：Bloomberg

Z Highlights

• 随着时间推移，AI工作负载中推理的比重会持续增加。每个应用程序都将内置推理功能——实际上这一趋势已初现端倪。我们视其为新型基础设施组件，如同计算、存储和数据库一样不可或缺。

• 当与开发新应用的从业者交流时，他们不再将AI与应用程序割裂看待，而是将AI深度融入用户体验中。

• 某种程度上，最终输出token数已不能准确衡量实际工作量。在图像和视频生成领域，内容创作过程中蕴含的运算强度远超最终输出token数。

• 当前普遍反馈显示AI成本仍然过高，尽管成本正在快速下降。我们认为需要多管齐下：芯片级创新、软件优化及算法改进，从而降低单位推理或训练所需的计算资源消耗。

• 但这本质上不是Tranium Two与Nvidia的对抗。这种二元对立的思维方式并不正确。这个市场存在巨大的发展空间，并非非此即彼。

• 最让我期待的是年底即将推出的"欧洲主权云"("European Sovereign Cloud")——专为欧盟关键主权工作负载设计。考虑到客户对数据主权的关注，尤其是政府及受监管工作负载，我们相信这将创造巨大市场机遇。

Matt Garman，亚马逊云科技（AWS）首席执行官。其2006年加入亚马逊，任CEO前，担任AWS全球销售、市场营销和客户服务高级副总裁。本次访谈是2025年6月由Bloomberg Technology一位知名科技记者Ed Ludlow发起，深入对话这位见证AWS和AI爆发式成长的行业领导人。

细数AWS的成就

Ed Ludlow:您担任AWS的CEO一职基本已满一年，作为开场问题，这段时间AWS取得的最大成就是什么？

Matt Garman:感谢邀请。很高兴再次来到这里，这是充满创新的一年，令人难以置信。回顾过去，最让我兴奋的是客户创新和对我们的众多新技术采用的速度。

当您观察那些正在进行云迁移之旅的客户时，会发现他们中许多人已经持续这个过程多年。但今年尤为特殊，我们真正见证了人工智能技术和生成式技术的爆发式增长。越来越多的客户正在将整个业务体系迁移到云端和AWS，见证这种技术发展的惊人速度确实令人振奋。这是非常精彩的第一年。

Ed Ludlow:真正让投资者高度关注的时刻，是亚马逊宣布其AI业务已达到数十亿美元的销售规模。但我们不太清楚的是，其中有多少比例属于AWS的基础设施业务？

Matt Garman:是的，这就是AWS的贡献。关键在于这包含了客户运行自有模型的业务。其中一部分基于Amazon Bedrock平台，这是我们托管的模型服务，既包含亚马逊自研模型如Amazon Nova，也整合了Anthropic等第三方模型。另一部分则来自应用层产品，例如助力自动化软件开发的Amazon Q，以及一系列其他功能服务。因此，这是一个多元化的业务组合。

达到数十亿美元规模最引人注目的方面在于，我们正处于AI即将彻底重塑所有客户业务的萌芽期。通过与客户对话并观察技术发展趋势，我们坚信AI将深度重构每家企业、每个行业乃至每个工作岗位的运作方式。虽然目前仅能窥见变革的端倪，但必须强调的是，这仅仅是变革的起点。当前我们拥有的数十亿美元业务规模，实际上只是一个开始。

Ed Ludlow:能否透露生成式AI业务的具体营收数据？

Matt Garman:您是指全球市场还是AWS业务？

Ed Ludlow:针对你们自身，AWS部门，或者亚马逊整体。

Matt Garman:我们的业务规模已达数十亿美元，这主要来自使用AWS的客户。同时，亚马逊内部也在广泛运用生成式AI技术。我们将其用于优化物流中心运营，在零售网站上用于生成用户评论总结，以及帮助客户更快速、更精准地发现商品。在全新的Alexa Plus服务中，我们通过对话式AI技术赋能Alexa，使用户能通过语音交互完成以往无法实现的操作。

推理经济崛起

Ed Ludlow:我们始终认可AWS作为头号超大规模云服务商的地位。但就您提到的客户在芯片层和应用层的使用情况，能否具体说明当前工作负载中模型训练与推理的比例分配？

Matt Garman:是的，这一比例会随时间推移而变化。随着时间推移，AI工作负载中推理的比重会持续增加。在AI和生成式AI的早期阶段，由于人们主要专注于构建大型模型而实际应用较少，训练确实占据了主导地位。

如今，模型规模持续扩大，但实际应用正呈爆发式增长。长期来看，我预计80%至90%的AI工作负载将属于推理范畴。本质上，推理体现了AI如何深度嵌入到人们日常使用的应用程序中。对于我们的客户而言，仅有少数企业会专注于模型开发，所有用户都将在其业务中把推理作为核心。每个应用程序都将内置推理功能——实际上这一趋势已初现端倪。我们视其为新型基础设施组件，如同计算、存储和数据库一样不可或缺。

当与开发新应用的从业者交流时，他们不再将AI与应用程序割裂看待，而是将AI深度融入用户体验中。因此，未来人们将难以界定业务收入中有多少比例由AI驱动，因为AI已成为应用开发和用户体验不可分割的核心部分，并将通过效率提升、功能增强和体验优化为各行业应用创造巨大价值。

Ed Ludlow:当前阶段，是否可以说训练工作仍占主导？

Matt Garman:不，目前推理的使用量已明显超过训练。

行业指标与技术创新

Ed Ludlow:近期财报季中，一个新兴指标引发热议—— token的增长和tokenization。AWS是否有关键数据可分享？

Matt Garman:目前我无法分享具体指标，但token生成量确实是可参考的衡量标准之一，不过并非唯一。

我观察到行业对这类指标的认知正在转变。token数量在文本生成领域具有参考价值，但AI推理模型的输入输出token数并不能完全反映实际工作量。如今出现越来越多能在输出token前进行长时间运算的模型，这些模型有时能持续"思考"数小时。例如，它们可以执行网络调研、信息整合、代码迭代等复杂任务。以编码场景为例，我们观察到大量代码生成过程涉及多轮推理与自我优化，模型会反复审视已生成内容，最终输出优化后的结果。

某种程度上，最终输出token数已不能准确衡量实际工作量。在图像和视频生成领域，内容创作过程中蕴含的运算强度远超最终输出token数。因此，尽管token量快速增长且具有参考价值，但将其作为唯一评估标准已显局限。

Ed Ludlow:Project Rainier这一大规模定制服务器设计项目，目前运营状态如何？有何最新进展？

Matt Garman:我们对这个项目充满热情。Project Rainier是我们与Anthropic合作伙伴共同打造的巨型计算集群，将用于训练其下一代云端模型。Anthropic当前拥有业界顶尖模型，其Claude 4上周刚发布，已获得客户群体的热烈反响。Anthropic将在Tranium two上训练下一代模型——这是亚马逊专为AI工作负载设计的定制加速处理器。我们正在构建史上最大集群之一，其规模是前代训练集群的五倍多，而前代集群已支撑训练出全球领先的模型。

目前我们正在部署Tranium two服务器，这些设备已投入运营，Anthropic已开始使用该集群部分资源。我们对取得的进展感到非常兴奋。Tranium two展现出的性能持续令人印象深刻，它在绝对性能、性价比及扩展性方面都突破了现有的极限。

随着技术发展，这些特性将同等重要。当前普遍反馈显示AI成本仍然过高，尽管成本正在快速下降。我们认为需要多管齐下：芯片级创新、软件优化及算法改进，从而降低单位推理或训练所需的计算资源消耗。

所有这些创新对持续降低成本至关重要，使AI能逐步渗透至我们预期的所有应用场景。

开放生态与合作策略

Ed Ludlow:Matt，周三英伟达CEO黄仁勋总结了关于推理的需求。我想为你播放这段录音。

“Jensen Huang: 我们现在有多个引擎同时发力。最大的是推理型AI。需求完全超出预期。”

你们在训练领域的优势是相对于英伟达技术的效率和成本效益。除了与Anthropic的合作，在Trainium Two上是否也看到黄仁勋提到的这种需求？

Matt Garman:我们在多个领域都观察到这种需求，但这本质上不是Tranium Two与Nvidia的对抗。这种二元对立的思维方式并不正确。这个市场存在巨大的发展空间，并非非此即彼。我们相信两者都有充足的发展空间——事实上我和Jensen经常讨论这个话题，Nvidia构建了极其出色的平台，他们的技术优势明显，仍是许多应用场景的首选方案。

因此我们与他们建立了卓越的设计合作伙伴关系。我们确保为所有客户提供最新的Nvidia技术，并持续探索其前沿技术的可能性边界。同时 Trainium及其他技术同样拥有发展空间。目前众多顶尖AI实验室对使用Tranium Two表现出强烈兴趣，他们正在深入挖掘其技术优势。

长期来看，这些技术将协同共存。客户需要选择自由——他们不愿被绑定在单一平台，而AWS的使命就是最大限度提供技术选项。

Ed Ludlow:AWS上Nvidia GB 200的正式上市时间是什么时候？你们是否已推出基于Grace Blackwell的实例？

Matt Garman:是的，我们推出了名为P6的实例系列，目前已在AWS平台上线。客户正在使用这些实例并给予积极反馈，其性能表现非常出色。当前我们正持续提升产能，与Nvidia团队紧密合作以满足强劲的P6实例需求。客户现在即可进行测试体验。 正如我所说，我们正在全球各区域以惊人速度扩展产能。

Ed Ludlow:你如何看待Anthropic模型在其他云平台的可用性？例如Azure Foundry

Matt Garman:这完全没问题。我们许多客户都会将应用程序部署在多个平台，我们理解不同客户需要跨云使用不同能力。AWS的使命是成为各类工作负载的最佳运行平台——包括Anthropic云模型，当然也涵盖更广泛的应用场景。这正是众多大型客户选择迁移至AWS的原因。

以Mondelez为例，他们全面采用AWS并迁移部分工作负载。关键原因之一是我们通过AI等技术帮助其优化成本，同时提供高可用、高安全性的平台。Mondelez正在将大量传统Windows平台转换为Linux应用，节省了大量授权费用。

类似案例还有很多。我们的核心任务是打造技术能力最强、服务覆盖最广的AWS平台。当然，其他云厂商开放服务是好事，但我们观察到绝大多数相关应用仍运行在AWS上。

Ed Ludlow:今年我们会在AWS上看到OpenAI模型吗？

Matt Garman:就像我们鼓励所有合作伙伴实现跨平台可用性一样，我也希望其他厂商采取同样策略。

Ed Ludlow:最后以观众提问结束：你们将在哪些地区扩展数据中心产能？

Matt Garman:我们在拉美地区正持续积极扩展产能。今年早些时候推出的墨西哥区域获得客户热烈欢迎，同时已经宣布在智利新建区域。我们在巴西区域已经运营多年且广受欢迎，许多南美大型金融机构都在使用。我们都在快速扩张整个中南美洲市场。