Thoughtworks开发“检索增强生成”技术,能降低AI大模型的幻觉风险 thoughtworks thoughtworks是500强吗
admin
2024-04-14 21:43:56
0

别惦记天网了,人工智能可能会给你的企业声誉带来更大的风险。这意味着,是时候把科幻灾难片放在一边,开始认真思考人工智能在日常工作中对我们的实际意义了。

这并不是只关心眼前利益的短视行为,而是敦促技术人员和商业领袖认识到,如果我们要作为一个行业,甚至是一个社会,来应对人工智能的风险,我们就需要具体考虑其直接影响和结果。如果我们不能做到这一点,就几乎不可能采取任何行动。


(来源:AI 生成)


风险与所处环境有关

风险与企业所处的环境有关。事实上,最大的风险之一是你没有理解你所处的大环境、大背景。这就是为什么你在评估风险时需要从大环境开始。

这对企业声誉尤为重要。想想你的客户和他们的期望,他们对与人工智能聊天机器人互动有何感受?向他们提供虚假的或误导性信息会造成多大的损害?

也许你可以处理给客户造成的些许不便,但如果它对客户的健康或资产产生了重大(负面)影响,该怎么办?

即使部署人工智能技术是可行的,我们也要考虑一些可能存在的声誉风险。多年来,我们一直在谈论用户体验和以客户为中心的重要性,虽然人工智能可能会在这方面提供帮助,但它也可能破坏它们。

同样,你的团队也会遇到类似的问题。人工智能可能会提高效率,让人们的工作更轻松,但如果使用不当,它可能会严重扰乱现有的工作方式。

最近,人工智能行业谈论了很多关于软件开发者体验的话题,组织在人工智能方面的决策需要改善开发团队的体验,而不是破坏他们的体验。

最近,我们在出版刊物中讨论了这一点,其中提到的信息来自于我们在世界各地的软件行业客户。

我们发现,人工智能团队助理是软件工程领域最令人兴奋的新兴部分,但我们也注意到,重点必须放在赋能团队上,而不是个人。

我们在最新报告中表示:“你应该寻找创建人工智能团队助理的方法,帮助团队‘提升 10 倍效率’,而不是 10 倍独立的、由人工智能辅助的工程师。”

不在意团队状况可能会对企业声誉造成重大损害。一些乐观的组织可能会将其视为创新的一部分,但事实并非如此。

它向潜在员工,尤其是高级技术员工,传达出一个信号:你并未真正理解或关心他们所做的工作。


通过更智能的技术来应对风险

有很多工具可以帮助管理风险。Thoughtworks 帮助制定了负责任的技术行为手册,里面整合了许多工具和技术,组织可以使用这些工具和技术来对技术(而不仅仅是人工智能)做出更负责任的决策。

然而需要注意的是,管理风险尤其是声誉风险,需要真正关注技术实施的细节。这一点在我们与各种民间社会组织合作开发的社会福利聊天机器人中尤为明显。

这里的风险与之前讨论的风险没有什么不同:使用这些聊天机器人时,不准确的信息或“幻觉”可能会阻止人们获得他们赖以生存的资源。

这种意识为技术决策提供了依据。我们开发了一个名为“检索增强生成”的技术,可以降低模型产生幻觉的风险,并提高准确性。

这项功能可能成为该领域新兴技术和工具浪潮的一部分,还有很多技术和工具正在帮助开发人员应对人工智能带来的风险,包括保护性工具 NeMo Guardrails(限制聊天机器人以提高准确性的开源工具),本地化工具 Ollama(在本地运行大型语言模型以保护隐私,并避免与第三方共享数据的工具)和旨在提高模型透明度的工具 Langfuse。

然而,值得指出的是,这不仅仅是你应该开发什么的问题,也是你应该避免做什么的问题。这就是为什么我们一再强调,过度热情地使用大型语言模型和急于微调这些模型可能是危险的。


重新思考风险

新一波人工智能风险评估框架旨在帮助组织考虑风险。组织也必须关注立法动态(包括欧洲的《人工智能法案》)。但解决人工智能风险不仅仅是应用一个框架,或者遵循一套静态的良好实践。

在一个动态变化的环境中,我们必须保持开放的心态并不断调整,密切关注技术选择在微观和宏观尺度上塑造人类行为和社会结果的方式。

一个好用的框架是 Dominique Shelton Leipzig 的红绿灯框架。红灯表示禁止的东西,比如歧视性监控,绿灯表示低风险,黄灯表示谨慎。

我喜欢它的浅显易懂。对于技术从业者来说,过多的法律术语或文档可能会让人无从下手,难以行动。

然而,我也认为有必要修改框架,将风险考虑进去,而不仅仅是技术本身。

这样一来,你就不会试图让解决方案适应特定的情况,而是对不同情况做出不同反应,根据实际情况来决定如何行动。

如果企业和组织对人工智能(和其他技术)采取这种方法,就能确保它们满足利益相关者的需求,并保护自身声誉。

支持:Ren

运营/排版:何晨龙

01/ 将量子比特数提升1个数量级,科学家用中性原子制备量子处理器,实现6100个量子比特

02/ 麻省大学团队研发网格生物电子系统,能长期监测心肌组织机电信号,为心脏组织工程提供新工具

03/ 首次揭示海水中纳米塑料的形态,科学家研发气泡沉积技术,可捕获海水中极微量的纳米塑料

04/ 科学家研发新型核酸检测系统,无需依赖昂贵蛋白质酶,单次材料成本低至约0.02美元

05/ 科学家提出固态聚合物电解质新设计,能耐受4.5V的高压,有望成为高能锂金属电池的首选电解质


相关内容

热门资讯

央行重磅数据曝光!房贷、存款都... 真是没想到啊! 贷款买房的人,多起来了! 存款大搬家,也出现了! 没错,说的就是央行最新公布的,半年...
长鑫科技发行价定了:8.66元... 7月14日晚间,长鑫科技(688825.SH)公告称,公司首次公开发行股票并在科创板上市,发行价格为...
公募二季报出炉,“翻倍基”重仓... 二季度涌现多只“翻倍基”,已披露季报显示其无一例外“拥抱”科技。AI(人工智能)叙事仍在延续,但板块...
提前布局硬科技企业,银行系“耐... 国产DRAM龙头长鑫科技7月16日启动科创板新股申购。招股书显示,金融资产投资公司(AIC)等银行系...
沈阳本地有哪些可满足小单需求的... 沈阳本地定制服装行业需求现状 近年来沈阳本地各类企事业单位的文化建设、活动筹办、员工工装配置需求处于...
25.47万亿元!上半年外贸创... 本报(chinatimes.net.cn)记者张智 北京报道 尽管今年外部环境复杂多变,但我国进出口...
四季陪伴 | 资产配置策略真的... 来源:中信银行微生活 01 一个无法回避的问题 2026年上半年结束了。打开账户,很多持有“四季组...
神秘大资金出手了。。 大资金再出手! 时隔15个月,ETF市场再现神秘资金抄底行情。 仅两个交易日,全市场股票ETF净流入...
梁文锋登顶全球大模型首富 据7月15日更新的彭博亿万富翁指数最新数据,DeepSeek创始人梁文锋以360亿美元净资产位列全球...
中央通报3起典型问题:国企投资... 2026年7月15日,中央层面整治形式主义为基层减负专项工作机制办公室和中央纪委办公厅公开通报3起整...
7月15日主题复盘 | 医药股... 一、行情回顾 市场全天震荡调整,科创50指数跌超4%。医药股逆势走强,迪哲医药、博瑞医药、昭衍新药等...
原创 莫... 印度这次跟美国的贸易谈判,摆出的架势让我们看了直摇头。莫迪政府张口就要"比中国还低的关税待遇",这个...
原创 今... 家人们谁懂啊,今早6点刷到的黄金分析还写着「4100横盘待变,4021是铁底」,结果8点半美国6月C...
近3亿套现落空!零售巨头物美集... 图片来源:图虫创意 横跨南北多省布局、拥有多个连锁品牌的老牌零售巨头——物美科技集团有限公司(以下简...
常州第一大独角兽企业:估值30... 根据胡润研究院的界定,独角兽企业指的是成立于2000年之后、估值超过10亿美元的非上市企业。这类企业...
长鑫科技回应董事长发股权激励,... 7月15日下午,存储厂商长鑫科技召开网上投资者交流会,该公司董事长朱一明在与投资者的交流中谈及公司登...
原创 D... 彭博、《金融时报》近期同步曝光,曾经宣称 “不融资、不上市、不商业化” 的 DeepSeek,正式推...
原创 7... 科创板史上最大IPO的发行价终于落地了。 长鑫科技每股定在8.66元,刚好卡在市场之前预测的7-10...
002731连续15个跌停后巨... 文/帅可聪 7月15日,在连续15个交易日跌停后,*ST萃华(002731.SZ)股价盘中出现异动。...
原创 4... 那个被全球资本疯狂追逐的电商巨头,终于要IPO了。 作者 | 云帆 来源 | 投资家(ID:touz...