遏制 AI 失控，微软发布系列工具减少 Copilot“幻觉”情况微软windows 11引入ai助手copilot 防止ai失控_市场资讯

admin

2024-04-02 09:43:20

0次

IT之家 4 月 2 日消息，生成式 AI 爆火的背后，安全性、隐私性和可靠性问题也日益凸显。微软公司为了遏制 Supremacy AGI（自称掌控人类世界的 AI）等事件发生，近日推出了一系列解决方案，防止生成式 AI 失控。

微软在官方公告中表示：“生成式 AI 如何有效防止提示词注入攻击已经成为重大挑战。在这种攻击中，恶意行为者试图操纵人工智能系统做一些超出其预期目的的事情，例如制作有害内容或外泄机密数据”

微软首先限制了 Copilot 的字符数量，以减轻严重的幻觉发作。另外微软引入了 "基础检测"（Groundedness Detection）功能，旨在帮助用户识别基于文本的幻觉。

该功能将自动检测文本中的“ungrounded material”，以支持 LLM 输出的质量，最终提高质量和信任度。

IT之家附上相关工具介绍如下：

Prompt Shields：用于检测和阻止提示注入攻击。包括用于在间接提示攻击影响您的模型之前对其进行识别的新模型，即将推出，现在可在 Azure AI Content Safety 中预览。

Groundedness detection：主要用于检测模型输出中的“幻觉”情况，即将推出。

Safety system messages：可引导您的模型朝着安全、负责任的方向发展。

Safety evaluationsde：用于评估应用程序在越狱攻击和生成内容风险方面的脆弱性，现已推出预览版。

Risk and safety monitoring：了解哪些模型输入、输出和最终用户会触发内容过滤器，从而为减轻风险提供信息，该功能即将推出，目前在 Azure OpenAI 服务中提供预览版。

参考

ai 应用程序微软账户 copilot

长鑫科技下周一上市，发行价为8... 来源：@财联社APP微博财联社7月23日讯，今日晚间，长鑫科技今日发布公告称，公司股票将于2026...

数字人民币开启从“可用”到“好... 证券时报记者李颖超当钱包开立规模持续扩容、试点版图不断铺开之后，数字人民币开始尝试切换发展逻辑。...

收评：超4200只个股上涨！电... 每经编辑：彭水萍 7月23日，A股全天走出缩量修复行情，三大指数小幅收红，盘面黄白线分化明显，中小盘...

商务部：将加快修订出台关于外国... 【大河财立方消息】7月23日，国务院新闻办公室举行新闻发布会，介绍2026年上半年商务工作及运行情况...

「AI新世代」智谱算力出鞘：1... 本报（chinatimes.net.cn）记者石飞月北京报道这段时间，智谱的股价经历了一番大起大...

刚刚，封死涨停！16.8亿抢筹... 调整已久的碳酸锂火了！ 7月23日，锂矿概念持续走强，*ST威领、川能动力、盛新锂能、永杉锂业、国城...

原创家... 家庭存款高于多少，才算是国内富裕家庭？社会各界看法不一。有人觉得在国内存款超过1000万，才算是富裕...

事关外贸、消费、新能源等领域 ... 商务部今天发布2026年上半年商务工作及运行情况。商务部副部长鄢东介绍，上半年商务发展总体情况，...

专访美联储前高级经济学家胡捷每经记者｜周逸斐每经编辑｜廖丹法国经济预期增长从0.9%下调为0.6%；德国从0.8%下调为0...

90后接盘清北顶流，仅当3个月... *此图由AI生成作者| 史大郎&猫哥来源| 是史大郎&大猫财经Pro 今天讲一个非常生猛的资本游...

罕见反超，GDP十强省份又变了各省份经济半年报陆续公布，备受关注的十强卡位战正式迎来变局。今年上半年，安徽以27370亿元GDP...

ETF热门榜：中证短融相关ET... 2026年7月22日，非货币类ETF合计成交5510.77亿元，其中有103只ETF成交额破10亿元...

中国银行：完成发行300亿元... 中国银行发布公告，公司于2026年7月20日在全国银行间债券市场发行减记型无固定期限资本债券，并于2...

中国真的是五省三市养活全国吗？近几年，网上流传了一个说法，叫“五省三市养全国”。简单来说，就是2022年，全国仅广东、江苏、浙江...

摩通：华尔街银行业绩强劲提振欧... 观点网讯：7月22日，华尔街大型银行第二季度业绩表现强劲，提振了市场对欧洲投资银行即将开启的财报季的...

广州拟推动房地产纾困和发展引... 观点网讯：7月22日，“十五五”时期，广州拟切实推动房地产纾困和发展，引导房地产市场企业转型升级。 ...

AI投入成“无底洞”？谷歌资本... 隔夜美股三大指数集体收低，道琼斯工业指数下跌0.01%报52218.58点，标普500指数跌0.14...

新太空经济从“起势”迈向“成势... 当前，全球正处于新一轮科技革命和产业变革加速演进的关键节点，人工智能、合成生物学、固态电池、高端算力...

金价四连涨，水贝又挤满人每经记者：赵景致每经编辑：何小桃,廖丹记者|赵景致编辑|何小桃廖丹杜恒峰校对|金冥羽金价在...

专访微亿智造董事长张志琦：在“... 本报（chinatimes.net.cn）记者石飞月上海报道在刚刚过去的2026世界人工智能大会...