Thoughtworks开发“检索增强生成”技术,能降低AI大模型的幻觉风险 thoughtworks thoughtworks是500强吗
admin
2024-04-14 21:43:56
0次

别惦记天网了,人工智能可能会给你的企业声誉带来更大的风险。这意味着,是时候把科幻灾难片放在一边,开始认真思考人工智能在日常工作中对我们的实际意义了。

这并不是只关心眼前利益的短视行为,而是敦促技术人员和商业领袖认识到,如果我们要作为一个行业,甚至是一个社会,来应对人工智能的风险,我们就需要具体考虑其直接影响和结果。如果我们不能做到这一点,就几乎不可能采取任何行动。


(来源:AI 生成)


风险与所处环境有关

风险与企业所处的环境有关。事实上,最大的风险之一是你没有理解你所处的大环境、大背景。这就是为什么你在评估风险时需要从大环境开始。

这对企业声誉尤为重要。想想你的客户和他们的期望,他们对与人工智能聊天机器人互动有何感受?向他们提供虚假的或误导性信息会造成多大的损害?

也许你可以处理给客户造成的些许不便,但如果它对客户的健康或资产产生了重大(负面)影响,该怎么办?

即使部署人工智能技术是可行的,我们也要考虑一些可能存在的声誉风险。多年来,我们一直在谈论用户体验和以客户为中心的重要性,虽然人工智能可能会在这方面提供帮助,但它也可能破坏它们。

同样,你的团队也会遇到类似的问题。人工智能可能会提高效率,让人们的工作更轻松,但如果使用不当,它可能会严重扰乱现有的工作方式。

最近,人工智能行业谈论了很多关于软件开发者体验的话题,组织在人工智能方面的决策需要改善开发团队的体验,而不是破坏他们的体验。

最近,我们在出版刊物中讨论了这一点,其中提到的信息来自于我们在世界各地的软件行业客户。

我们发现,人工智能团队助理是软件工程领域最令人兴奋的新兴部分,但我们也注意到,重点必须放在赋能团队上,而不是个人。

我们在最新报告中表示:“你应该寻找创建人工智能团队助理的方法,帮助团队‘提升 10 倍效率’,而不是 10 倍独立的、由人工智能辅助的工程师。”

不在意团队状况可能会对企业声誉造成重大损害。一些乐观的组织可能会将其视为创新的一部分,但事实并非如此。

它向潜在员工,尤其是高级技术员工,传达出一个信号:你并未真正理解或关心他们所做的工作。


通过更智能的技术来应对风险

有很多工具可以帮助管理风险。Thoughtworks 帮助制定了负责任的技术行为手册,里面整合了许多工具和技术,组织可以使用这些工具和技术来对技术(而不仅仅是人工智能)做出更负责任的决策。

然而需要注意的是,管理风险尤其是声誉风险,需要真正关注技术实施的细节。这一点在我们与各种民间社会组织合作开发的社会福利聊天机器人中尤为明显。

这里的风险与之前讨论的风险没有什么不同:使用这些聊天机器人时,不准确的信息或“幻觉”可能会阻止人们获得他们赖以生存的资源。

这种意识为技术决策提供了依据。我们开发了一个名为“检索增强生成”的技术,可以降低模型产生幻觉的风险,并提高准确性。

这项功能可能成为该领域新兴技术和工具浪潮的一部分,还有很多技术和工具正在帮助开发人员应对人工智能带来的风险,包括保护性工具 NeMo Guardrails(限制聊天机器人以提高准确性的开源工具),本地化工具 Ollama(在本地运行大型语言模型以保护隐私,并避免与第三方共享数据的工具)和旨在提高模型透明度的工具 Langfuse。

然而,值得指出的是,这不仅仅是你应该开发什么的问题,也是你应该避免做什么的问题。这就是为什么我们一再强调,过度热情地使用大型语言模型和急于微调这些模型可能是危险的。


重新思考风险

新一波人工智能风险评估框架旨在帮助组织考虑风险。组织也必须关注立法动态(包括欧洲的《人工智能法案》)。但解决人工智能风险不仅仅是应用一个框架,或者遵循一套静态的良好实践。

在一个动态变化的环境中,我们必须保持开放的心态并不断调整,密切关注技术选择在微观和宏观尺度上塑造人类行为和社会结果的方式。

一个好用的框架是 Dominique Shelton Leipzig 的红绿灯框架。红灯表示禁止的东西,比如歧视性监控,绿灯表示低风险,黄灯表示谨慎。

我喜欢它的浅显易懂。对于技术从业者来说,过多的法律术语或文档可能会让人无从下手,难以行动。

然而,我也认为有必要修改框架,将风险考虑进去,而不仅仅是技术本身。

这样一来,你就不会试图让解决方案适应特定的情况,而是对不同情况做出不同反应,根据实际情况来决定如何行动。

如果企业和组织对人工智能(和其他技术)采取这种方法,就能确保它们满足利益相关者的需求,并保护自身声誉。

支持:Ren

运营/排版:何晨龙

01/ 将量子比特数提升1个数量级,科学家用中性原子制备量子处理器,实现6100个量子比特

02/ 麻省大学团队研发网格生物电子系统,能长期监测心肌组织机电信号,为心脏组织工程提供新工具

03/ 首次揭示海水中纳米塑料的形态,科学家研发气泡沉积技术,可捕获海水中极微量的纳米塑料

04/ 科学家研发新型核酸检测系统,无需依赖昂贵蛋白质酶,单次材料成本低至约0.02美元

05/ 科学家提出固态聚合物电解质新设计,能耐受4.5V的高压,有望成为高能锂金属电池的首选电解质


相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...