AI“数据荒”怎么办?微软、谷歌等公司正使用“合成数据”训练AI ai数据训练公司 AI数据训练
admin
2024-05-12 12:34:28
0

财联社5月12日讯(编辑 周子意)人工智能聊天机器人的背后需要海量高质量数据作为支撑。传统上,人工智能系统依赖于从各种网络来源(如文章、书籍和在线评论)中提取的大量数据来理解用户的查询并生成响应。

长期以来,如何获取更多的高质量数据成为人工智能公司的一大挑战。由于数据在互联网上的可用性是有限的,这促使人工智能公司正寻求一种替代解决方案——合成数据(Synthetic data)。

合成数据,即人工智能系统生成的人工数据。科技公司通过利用自己的人工智能模型,生成合成数据(这也被认为是虚假数据),然后将这些数据用以训练其系统的未来迭代。

谈及合成数据是如何生成的,其过程包括为人工智能模型设置特定参数和提示以创建内容,这种方法可以更精确地控制用于训练人工智能系统的数据。

例如,微软的研究人员向人工智能模型列出了四岁孩子能够理解的3000个词汇,然后,他们要求该模型使用词汇表中的一个名词、一个动词和一个形容词来创造一个儿童故事。通过几天时间内数百万次的重复提示,模型最终产生了数百万个短篇故事。

虽然计算中的合成数据并不是一个新概念,但生成式人工智能的兴起促进了大规模创建更高质量的合成数据。

人工智能初创公司Anthropic首席执行官Dario Amodei将这种方法称为“无限数据生成引擎”,旨在避免与传统数据采集方法相关的一些版权、隐私等问题。

现有用例与分歧观点

目前,Meta、谷歌和微软等主要人工智能公司已经开始使用合成数据开发高级模型,包括聊天机器人和语言处理器。

例如,Anthropic使用合成数据为其聊天机器人Claude提供动力;谷歌DeepMind则使用这种方法来训练能够解决复杂几何问题的模型;与此同时,微软已经公开了使用合成数据开发的小型语言模型。

有支持者认为,如果适当实施,合成数据可以产生准确可靠的模型。

然而,一些人工智能专家对与合成数据相关的风险表示担忧。著名大学的研究人员观察到了“模型崩溃”的例子,即在合成数据上训练的人工智能模型出现了不可逆转的缺陷,并产生了荒谬的输出。此外,有人担心合成数据可能会加剧数据集的偏差和错误。

剑桥大学博士Zakhar Shumaylov在一封电子邮件中写道,”如果处理得当,合成数据会很有用。然而,对于如何才能处理得当,目前还没有明确的答案;有些偏见对于人类来说可能很难察觉。”

此外,围绕对合成数据的依赖存在一场哲学辩论,人们对人工智能的本质提出了质疑——如若使用机器合成的数据,那么人工智能是否还是模仿人类智能的机器?

斯坦福大学教授Percy Liang强调了将真正的人类智能融入数据生成过程的重要性,并强调了大规模创建合成数据的复杂性。他认为,“合成数据不是真实的数据,就像你做梦登上了珠穆朗玛峰并不是真正登顶了一样。”

目前对于生成合成数据的最佳做法尚未达成共识,这突出表明需要在这一领域进一步研究和发展。随着该领域的不断发展,人工智能研究人员和领域专家之间的合作对于充分利用人工智能开发合成数据的潜力至关重要。

相关内容

热门资讯

耐克要在中国市场发力了 作者 | 谢芸子 编辑 | 张帆 进入2026年以来,耐克大中华区动作频频。 首先是高层的人事变动...
公用事业领域反垄断指南出台 2月4日,国务院反垄断反不正当竞争委员会印发施行《关于公用事业领域的反垄断指南》(以下简称《指南》)...
人民银行:2025年银行间市场... 北京商报讯(记者 董晗萱)2月11日,人民银行官网发布2025年金融市场运行情况。2025年,同业拆...
“一姐”告别、“明星”空降!天... 作者 | 刘银平 编辑 | 付影 来源 | 独角金融 在即将到来的春节前夕,2月9日,天弘基金发布一...
黄金定价逻辑生变?暴涨暴跌,该... 黄金市场近期上演“心跳模式”。在1月29日盘中突破5500美元/盎司之后,黄金价格近期剧烈回调,且大...
炭黑N650产品定价工具实现精... 在现代市场经济中,定价是企业决策中至关重要的一环。针对炭黑N650产品的定价,合理、准确、科学的定价...
AI产业链方向集体回调,关注人... 2月11日,AI产业链方向集体回调。指数层面,上证科创板人工智能指数下跌0.9%,中证人工智能主题指...
玉渊谭天:中国可对法国葡萄酒发... 近日,法国某机构向欧盟提议对中国实施相当于约30%的整体关税。这份所谓“建议”,只针对中国商品,明显...
雷军称最后一辆初代小米SU7已... 来源:环球网 2月11日消息,小米公司创始人、董事长兼CEO雷军日前在小年夜举行春节前最后一场直播,...
兴业银行杭州分行:镌刻与时代共... 钱塘潮涌,万象更新。在浙江全面推进中国式现代化先行示范的壮阔征程中,金融活水奔流不息,滋养实体经济枝...
2026开年ETF融资风向:中... 2026年,市场风向在转变。 作者 | 市值风云基金研究部 编辑 | 小白 2026年,随着资本市...
和讯投顾赵冰忆:整体市场轮动节... 2月11日,和讯投顾赵冰忆称,给大家的思路是关注上证指数和软件服务板块,待这两个板块都兑现、无做多预...
原创 特... 特朗普又开始搞事情了!他先给印度免除25%的惩罚性关税,让印度断绝与俄罗斯的石油合作,成为了一个服从...
传统制作成本转向算力成本?AI... 字节跳动新一代AI(人工智能)视频模型引发资本市场与影视行业高度关注。 近日,字节跳动发布AI视频生...
原创 特... 2026年2月,一场在华盛顿上演的“资源大会战”掀起了全球地缘政治的新波澜。特朗普再出狠招,拉上欧盟...
淡季不淡!中芯国际单季净利增2... 2月10日晚,中芯国际(688981.SH,00981.HK)发布2025年第四季度业绩快报。 财报...
上海仪电与阿里巴巴达成战略合作... 观点网讯:2月11日,上海仪电与阿里巴巴集团正式签署战略合作协议,双方将在智算服务、政企市场、公共云...
高评分乌鲁木齐黄金回收品牌实力... 导语:黄金回收作为贵金属流通领域的关键环节,其价格透明度、检测精准度与服务规范性直接影响客户权益。在...
浙江宁波一餐厅大圆桌可坐55人... 近日,有浙江网友通过社交平台发布一段视频称,他们公司在一家餐厅举行年末聚餐,餐桌可以坐得下50多人,...