图片来源@pixabay

大模型的生产需要数据底座的支撑，因为只有高质量、高密度的数据去训练模型，才有可能得到更精准的生成效果。就当前而言，训练一个500T参数的模型，使用的训练数据已经达到16.6PB，如果一本书按500KB算，相当于332亿本的数据量。这是什么概念？好比说现存每个人类拥有4本书的量级。

但问题是，使用大量互联网上公开数据集，仅在数据清洗环节就提出极大挑战，被精炼的高质量数据正如石油一样，非常珍贵。钛媒体APP注意到，目前不少模型提供方，已经在特定领域使用合成数据用于模型训练，其原理是希望能够基于大模型自动生成高质量数据集。而这只是一方面。

目前数据量的暴涨，还要求使用各种技术手段实现数据的预训练和微调，数据智能应用场景下，对大数据平台的管理水平和安全能力要求提升，这对于基于云服务应用的企业而言，挑战的复杂性会更为明显。

在媒体沟通会上，亚马逊云科技探讨了数据在生成式AI时代的重要性及挑战，从三个层面分析企业想要构建数据底座，可参考的解决方案和路径。钛媒体摘录了一些关键要点，如下：

企业构建数据底座过程中，往往会通过三类方式进行基础模型的数据定制，以适应不同应用场景，分别是：检索增强生成（Retrieval-Augmented Generation，RAG）、微调和持续预训练。RAG、微调和持续预训练需要的数据规模、数据来源和技术要求各不相同。例如，RAG需要GB级企业数据，微调需要GB级人工标的高质量数据，持续预训练则需要TB级未标的原始数据。RAG的数据来源是企业内部文档库、数据库、数据仓库、知识图谱；微调数据来源为私域知识；持续预训练数据来源为公开的数据集或企业各部门的数据。企业构建数据底座面临三类挑战：一是在模型微调和预训练阶段，将海量原始数据转化为高质量的大数据集，对存储、清洗、治理的挑战；二是快速获取专有数据的挑战；三是基础模型频繁调用将会导致成本的增加和响应的延迟的挑战企业构建数据底座也应从上述三类挑战入手：一是找到合适的存储来承载海量数据；清洗加工原始数据为高质量数据集；对整个组织内数据的发现编目治理；二是利用RAG将专有数据提供给基础模型；三是通过将之前问答生成的新数据存入缓存，从而在面对类似问题时，可以不调用模型，而直接通过缓存给出回答，这不但能够减少模型调用，还可以节约成本。

图片来源@亚马逊云科技

亚马逊云科技大中华区数据分析与生成式AI产品总监崔玮在交流中告诉钛媒体APP，从前端模型的使用来看，Amazon Bedrock提供了一个平台开放给客户，让客户自己选择适合自身业务场景的模型。同样在后端，无论是数据分析工具，还是数据库，都是希望通过提供一套最合适的产品和服务，让用户在任何一个应用，任何一个数据存储的环境，都可以通过向量化能力，对接到企业客户的不同业务场景中。

在数据存储方面，扩展性和响应速度是关键。Amazon S3对象存储，支持广泛的数据协议，应对各种数据类型，还支持智能分层以降低训练成本。Amazon FSx for Lustre文件存储服务，提供亚毫秒延迟和数百万IOPS的吞吐性能，能够进一步加快模型优化的速度。

在数据清洗方面，企业面临着繁重的数据清洗加工任务。Amazon EMR serverless采用无服务器架构，帮助企业运行任何规模的分析工作负载，自动扩展功能可在几秒钟内调整资源大小，以满足不断变化的数据量和处理要求。Amazon Glue是一个简单可扩展的无服务器数据集成服务，可快速完成微调或预训练模型的数据准备工作。

在数据治理方面，企业难以在多个账户和区域中查找数据，也缺乏有效的数据治理工具。Amazon DataZone让企业能够跨组织边界大规模地发现、共享和管理数据，不但能够为多源多模态数据进行有效编目和治理，还提供简单易用的统一数据管理平台和工具。

利用RAG技术将专有数据提供给基础模型。将向量搜索的支持功能加入到主流的数据服务中，通过将数据和向量存储在一起来提升数据查询性能。Amazon Neptune图数据库推出分析数据库引擎，以结合图数据库与大模型的优势，从而能够快速从图形数据中获取洞察，并进行更快的向量搜索。

在提升模型调用效率方面。Amazon Memory DB内存数据库通过缓存之前问答生成的新数据，实现对类似问题的快速响应和准确回答，同时有效降低基础模型的调用频率。此外，亚马逊云科技还将无服务器数据库服务和Amazon OpenSearch Serverless用于向量搜索。

正如亚马逊云科技大中华区产品部总经理陈晓建所言，“企业需要的是懂业务、懂用户的生成式AI应用，而打造这样的应用需要从数据做起。”

例如，北京灵奥科技是一家大模型中间件领域创企。在此之前，北京灵奥科技就已经将整个平台搭建在亚马逊科技之上，使用了Amazon EKS、Amazon DocumentDB、Amazon S3等基础云服务和数据存储产品，以及基于Amazon Bedrock提供的Claude模型，用于构建Vanus平台的AI Agent助手。

图片来源@灵奥科技

在服务一家南美州服饰类电商企业的过程中，Vanus为Shopify电商客户构建了客服类Agent VanChat。数据显示，通过VanChat提供的用户意图识别、产品推荐等功能加速用户产品购买，提升网站的销售额。VanChat为该客户带来快速的营收增长，仅上线首月ROI高达611%。

从最近的动作来看，擅长从客户需求视角倒推产品，亚马逊云科技已将上述提及的能力抽象为部分产品方案开放出来。（本文首发于钛媒体APP， 作者｜杨丽，编辑 | 盖虹达）