遏制 AI 失控，微软发布系列工具减少 Copilot“幻觉”情况 微软windows 11引入ai助手copilot 防止ai失控
admin
2024-04-02 09:43:20
0次
IT之家 4 月 2 日消息，生成式 AI 爆火的背后，安全性、隐私性和可靠性问题也日益凸显。微软公司为了遏制 Supremacy AGI（自称掌控人类世界的 AI）等事件发生，近日推出了一系列解决方案，防止生成式 AI 失控。
微软在官方公告中表示：“生成式 AI 如何有效防止提示词注入攻击已经成为重大挑战。在这种攻击中，恶意行为者试图操纵人工智能系统做一些超出其预期目的的事情，例如制作有害内容或外泄机密数据”
微软首先限制了 Copilot 的字符数量，以减轻严重的幻觉发作。另外微软引入了 "基础检测"（Groundedness Detection）功能，旨在帮助用户识别基于文本的幻觉。
该功能将自动检测文本中的“ungrounded material”，以支持 LLM 输出的质量，最终提高质量和信任度。
IT之家附上相关工具介绍如下：
Prompt Shields：用于检测和阻止提示注入攻击。包括用于在间接提示攻击影响您的模型之前对其进行识别的新模型，即将推出，现在可在 Azure AI Content Safety 中预览。
Groundedness detection：主要用于检测模型输出中的“幻觉”情况，即将推出。
Safety system messages：可引导您的模型朝着安全、负责任的方向发展。
Safety evaluationsde：用于评估应用程序在越狱攻击和生成内容风险方面的脆弱性，现已推出预览版。
Risk and safety monitoring：了解哪些模型输入、输出和最终用户会触发内容过滤器，从而为减轻风险提供信息，该功能即将推出，目前在 Azure OpenAI 服务中提供预览版。
参考
相关内容
热门资讯
上节育环后需要注意什么
一、休息与活动 上节育环后要适当休息，避免剧烈运动和重体力劳动，一般建议休息1 - 2天。因为过早进...
挖矿收益不足3美分！比特币暴跌...
来源：环球市场播报 TMG Core 展台的液体浸没式冷却矿槽中的加密货币矿机。 罗森布拉特证券公...
众机构唱多三星电子：存储巨头冲...
财联社2月25日讯（编辑 史正丞）随着三星电子周二收涨3.6%，迈上每股20万韩元的历史新高，分析师...
增值税发票数据显示：春节假期消...
新华社北京2月24日电（记者刘开雄）记者2月24日从国家税务总局获悉，增值税发票数据显示，2026年...
从“向外求索”到“向内安顿”的...
从“向外求索”到“向内安顿”的消费觉醒 当商务宴席上的茅台与书房中静静摆放的谦夫子养生露酒同时出现在...
千寻智能完成近20亿元融资
北京商报讯（记者 陶凤 王天逸）2月24日，具身智能头部企业千寻智能宣布，近日连续完成两轮融资，金额...
原创 银...
最近不少人发现，家附近的银行网点悄悄关门了，有的贴出公告终止营业，有的直接撤柜清空，就连工商银行、建...
美联储理事库克称央行可能无法应...
来源：环球市场播报 美联储理事丽莎·库克警告称，美国央行可能无法应对因采用人工智能而导致的失业率上升...
焦点访谈｜这个春节假期，消费市...
来源：滚动播报 （来源：千龙网） 金马昂首，新春纳福。刚刚过去的丙午年春节假期，消费市场购销两旺持续...
亚朵节后价格“跳水”超70%
春节过后，部分热门小城的亚朵酒店房价上演“过山车”行情，房价节前飙升，节后迅速跳水，巨大的价格波动引...
原创 金...
你绝对想不到，同样一克999足金，在深圳水贝批发市场只要1334元，走进周大福门店却变成1545元，...
德兰明海冲击港交所！递表前大手...
又一家储能企业“叩响”了港交所大门。近期，港交所官网显示，中小型用户侧储能企业深圳市德兰明海新能源股...
绿茶集团、猫眼娱乐发布正面盈利...
｜2026年2月25日 星期三｜ NO.1绿茶集团发布正面盈利预告 2月24日港股收市后，绿茶集团（...
安宁市的历史文化及名人有哪些
安宁市，这座坐落在彩云之南的城市，宛如一颗璀璨明珠，散发着迷人的历史文化魅力。在这里，岁月留下了深深...
中国央行连续12个月加量续作M...
来源：中国新闻网 中新社北京2月24日电 (陶思阅)中国央行24日发布中期借贷便利(MLF)招标公告...
不是15%？特朗普10%全球关...
据美国海关及边境保卫局（CBP）发布消息，特朗普政府将实施的新全球关税为10%。 第一财经收到的CB...
2026年春节出游人次、消费金...
2026年春节，为期9天的超长假期点燃了全国消费热情，多项核心数据创下历史纪录。 经文化和旅游部数据...
美国联邦存款保险公司（FDIC...
美国联邦存款保险公司（FDIC）：美国银行业存款季环比下滑2%。
2026春节AI大战深度复盘：...
主编温静导读：2026年春节，元宝、千问、豆包三大巨头以红包、免单为杠杆，发动了一场规模空前的用户争...