Thoughtworks开发“检索增强生成”技术,能降低AI大模型的幻觉风险 thoughtworks thoughtworks是500强吗
admin
2024-04-14 21:43:56
0

别惦记天网了,人工智能可能会给你的企业声誉带来更大的风险。这意味着,是时候把科幻灾难片放在一边,开始认真思考人工智能在日常工作中对我们的实际意义了。

这并不是只关心眼前利益的短视行为,而是敦促技术人员和商业领袖认识到,如果我们要作为一个行业,甚至是一个社会,来应对人工智能的风险,我们就需要具体考虑其直接影响和结果。如果我们不能做到这一点,就几乎不可能采取任何行动。


(来源:AI 生成)


风险与所处环境有关

风险与企业所处的环境有关。事实上,最大的风险之一是你没有理解你所处的大环境、大背景。这就是为什么你在评估风险时需要从大环境开始。

这对企业声誉尤为重要。想想你的客户和他们的期望,他们对与人工智能聊天机器人互动有何感受?向他们提供虚假的或误导性信息会造成多大的损害?

也许你可以处理给客户造成的些许不便,但如果它对客户的健康或资产产生了重大(负面)影响,该怎么办?

即使部署人工智能技术是可行的,我们也要考虑一些可能存在的声誉风险。多年来,我们一直在谈论用户体验和以客户为中心的重要性,虽然人工智能可能会在这方面提供帮助,但它也可能破坏它们。

同样,你的团队也会遇到类似的问题。人工智能可能会提高效率,让人们的工作更轻松,但如果使用不当,它可能会严重扰乱现有的工作方式。

最近,人工智能行业谈论了很多关于软件开发者体验的话题,组织在人工智能方面的决策需要改善开发团队的体验,而不是破坏他们的体验。

最近,我们在出版刊物中讨论了这一点,其中提到的信息来自于我们在世界各地的软件行业客户。

我们发现,人工智能团队助理是软件工程领域最令人兴奋的新兴部分,但我们也注意到,重点必须放在赋能团队上,而不是个人。

我们在最新报告中表示:“你应该寻找创建人工智能团队助理的方法,帮助团队‘提升 10 倍效率’,而不是 10 倍独立的、由人工智能辅助的工程师。”

不在意团队状况可能会对企业声誉造成重大损害。一些乐观的组织可能会将其视为创新的一部分,但事实并非如此。

它向潜在员工,尤其是高级技术员工,传达出一个信号:你并未真正理解或关心他们所做的工作。


通过更智能的技术来应对风险

有很多工具可以帮助管理风险。Thoughtworks 帮助制定了负责任的技术行为手册,里面整合了许多工具和技术,组织可以使用这些工具和技术来对技术(而不仅仅是人工智能)做出更负责任的决策。

然而需要注意的是,管理风险尤其是声誉风险,需要真正关注技术实施的细节。这一点在我们与各种民间社会组织合作开发的社会福利聊天机器人中尤为明显。

这里的风险与之前讨论的风险没有什么不同:使用这些聊天机器人时,不准确的信息或“幻觉”可能会阻止人们获得他们赖以生存的资源。

这种意识为技术决策提供了依据。我们开发了一个名为“检索增强生成”的技术,可以降低模型产生幻觉的风险,并提高准确性。

这项功能可能成为该领域新兴技术和工具浪潮的一部分,还有很多技术和工具正在帮助开发人员应对人工智能带来的风险,包括保护性工具 NeMo Guardrails(限制聊天机器人以提高准确性的开源工具),本地化工具 Ollama(在本地运行大型语言模型以保护隐私,并避免与第三方共享数据的工具)和旨在提高模型透明度的工具 Langfuse。

然而,值得指出的是,这不仅仅是你应该开发什么的问题,也是你应该避免做什么的问题。这就是为什么我们一再强调,过度热情地使用大型语言模型和急于微调这些模型可能是危险的。


重新思考风险

新一波人工智能风险评估框架旨在帮助组织考虑风险。组织也必须关注立法动态(包括欧洲的《人工智能法案》)。但解决人工智能风险不仅仅是应用一个框架,或者遵循一套静态的良好实践。

在一个动态变化的环境中,我们必须保持开放的心态并不断调整,密切关注技术选择在微观和宏观尺度上塑造人类行为和社会结果的方式。

一个好用的框架是 Dominique Shelton Leipzig 的红绿灯框架。红灯表示禁止的东西,比如歧视性监控,绿灯表示低风险,黄灯表示谨慎。

我喜欢它的浅显易懂。对于技术从业者来说,过多的法律术语或文档可能会让人无从下手,难以行动。

然而,我也认为有必要修改框架,将风险考虑进去,而不仅仅是技术本身。

这样一来,你就不会试图让解决方案适应特定的情况,而是对不同情况做出不同反应,根据实际情况来决定如何行动。

如果企业和组织对人工智能(和其他技术)采取这种方法,就能确保它们满足利益相关者的需求,并保护自身声誉。

支持:Ren

运营/排版:何晨龙

01/ 将量子比特数提升1个数量级,科学家用中性原子制备量子处理器,实现6100个量子比特

02/ 麻省大学团队研发网格生物电子系统,能长期监测心肌组织机电信号,为心脏组织工程提供新工具

03/ 首次揭示海水中纳米塑料的形态,科学家研发气泡沉积技术,可捕获海水中极微量的纳米塑料

04/ 科学家研发新型核酸检测系统,无需依赖昂贵蛋白质酶,单次材料成本低至约0.02美元

05/ 科学家提出固态聚合物电解质新设计,能耐受4.5V的高压,有望成为高能锂金属电池的首选电解质


相关内容

热门资讯

原创 四... 浮躁,几乎是每个人都经历过的状态,我自己也不例外。每天,我总会在脑海中幻想,什么时候才能一夜暴富,抛...
第十一篇,连锁企业扩张:别把资... 连锁企业的扩张之战,从来不是“广撒网、多敛鱼”的盲目博弈,而是“精准聚焦、集中发力”的战略取舍。前文...
原创 假... “关羽大意失荆州”这一典故,无论历史课本还是民间传说中都耳熟能详。人们普遍认为,关羽的失误和疏忽注定...
标普500银行指数下跌2.2%... 标普500银行指数下跌2.2%。 来源:金融界AI电报
董宇辉未来在直播带货和内容创作... 来源:新浪乐迷公社 从东方甄选独立后,董宇辉以“与辉同行”为起点,正通过战略重构直播带货与内容创作的...
国开行2025年发放公路基础设... 记者从国家开发银行获悉,2025年,国开行发放公路基础设施贷款超3600亿元,同比增长10%。“十四...
2月23日晚间重要公告集锦 前沿生物:与葛兰素史克签署授权许可协议;国投资本:国投瑞银白银期货证券投资基金估值调整预计对公司20...
推进民生实事许昌市妇幼保健院实... 本报讯(记者 常娟 许冬冬)作为“两癌”“两筛”工作的直接承担者,推进“两癌”(乳腺癌、宫颈癌)“两...
当区块链遇见供应链:一场透明与... 在全球化经济的浪潮中,供应链如同世界的血液循环系统,将原材料、零部件和成品跨越国界输送到每一个角落。...
深夜突发,美股全线跳水,近40... 每经编辑:何小桃,宋思艰 2月24日凌晨,美股突然跳水。 截至发稿,道指跌1.68%,跌幅超800点...
四川春节假期消费市场“马力十足... 封面新闻记者 易弋力 吃团年饭、赏花灯、观非遗、看电影、踏春旅游、以旧换新、沉浸购物……马年春节,迎...
早盘:美股走低科技股领跌 纳指... 来源:环球市场播报 北京时间2月17日晚,美股周二早盘走低,主要股指延续了上周的下跌趋势。此前遭受重...
原创 今... 已经打响的2026年家电市场“零售争夺”大战,对于行业所有厂商来说,压力巨大、压力激增。特别是,对于...
云南省属企业2025年利润同比... 记者从日前举行的全省省属企业负责人会议上获悉,2025年云南省属企业利润同比增长147.57%,增加...
集体杀跌!刚刚,13.67万人... 加密货币集体跳水! 今日(2月23日),在地缘政治紧张及美国关税不确定性上升的双重打击下,加密货币市...
国发股份详解2025年预亏原因... 每经记者:吴泽鹏 每经编辑:文多 1月17日发布2025年年度业绩预亏公告后,国发股份(SH6005...
公司上了94个“数字员工”,干... 内容来源:2026年2月12日,大树AI创业圈视频号第50期 访谈 渊虹分享内容 。 分享嘉宾: 渊...
如何构建一个完美的投票系统?必... 一、明确投票系统的需求 微信搜索关键词(中正投票)一键进入小程序,创建你需要活动模版,一键搭建专属投...
孙宇晨现身GWDC2026:定... 近日,区块链行业的年度盛事GWDC2026在万众瞩目中拉开帷幕。作为本次大会的联合主办方与钻石赞助商...
白癜风医生刘云涛:白癜风与维生... 维生素B族是人体必需的水溶性维生素,包含多种亚型,参与人体新陈代谢、神经系统调节和皮肤细胞修复,对白...