OpenAI藏了1年多的技术公开!15秒素材克隆声音,HeyGen也在用 OpenAI藏了1年多的技术公开!15秒素材克隆声音,HeyGen也在用
admin
2024-03-30 15:05:43
0次

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

OpenAI雪藏的新产品——语音合成引擎Voice Engine,终于被正式揭幕。

有了它,只需15秒的语音样本,就能克隆出一个人的声音,而且还能跨越语言!

APP版ChatGPT中的语音对话功能,也正是由这项技术所驱动。



效果如何?先来听段DEMO:

Salt also makes sure we stay hydrated which means there is enough water in our body for it to properly function.
盐分也可以保持人体内的水分,确保其满足正常功能的需要。

【音频效果请移步公众号】

而OpenAI通告显示,他们在2022年底就已经开发出了这项技术,但出于安全考虑一直没有正式发布。

这次,OpenAI终于官宣了Voice Engine,并展示了小规模测试中的几个应用案例。

比如,一家非营利医疗机构就利用这项技术,为一名年轻的病人恢复了她的声音。



另外值得一提的是,去年爆火的视频翻译软件HeyGen,采用的语音引擎也正是Voice Engine。



那么,这次OpenAI还展现了哪些效果,下面就来一睹为快。

用AI帮助病患恢复声音

首先是利用基础的语音合成能力,为儿童等不具备文字阅读能力的群体提供阅读辅助。

比如一家儿童教育技术公司,就一直在使用Voice Engine来给编写好的画外音内容配音。

DEMO中生成的大段内容,都是基于这样一段15秒的样本:

【音频效果请移步公众号】

然后,就可以合成相同音色的长段语音:

【音频效果请移步公众号】



再来看看HeyGen中用到的的语音翻译技术,原始素材是一段英语的音频:

【音频效果请移步公众号】

它被用原始的音色,翻译成了普通话、法语、德语等多种语言。

忽略译文的质量,只听声音,中文的效果是这样的:

【音频效果请移步公众号】

音色保持的还算不错,不过腔调很明显一听就是外国人在说中文。

至于这到底是个bug还是个feature,就见仁见智了(手动狗头)。



此外,一款名为Livox的残障人士辅助应用,也利用Voice Engine为不能说话的残障人士“发出声音”——

在有了Voice Engine之后,TA们可以选择专属的真人音色,而不再是机械感明显的合成音,并且在各种语言之间都能保持音色的一致性。

不只是帮助残障人士拥有自己的声音,Voice Engine还可以为因疾病导致声音发生在重大改变的人群,恢复患病之前声音,只要有以前的声音样本就能实现。

一名年轻的患者因罹患血管性脑肿瘤,失去了流利讲话的能力,说话变成了这样:

【音频效果请移步公众号】

医生从她所在学校录制的视频中提取到了她患病前的声音作为样本,在Voice Engine的帮助下为她恢复了此前的音色。

【音频效果请移步公众号】



此次发布的案例,特别是为不便人士提供帮助的场景受到了不少好评,但也有网友对这项技术的滥用表达了担忧。



安全问题需要全社会共同关注

实际上,安全问题也是OpenAI迟迟未将这项技术公之于众的主要考量。

出于安全考虑,前面案例的开发者都经过了OpenAI的严格筛选,并且需要承诺遵守使用协议。

这些开发者被要求必须明确说明声音是合成的,并且设定了黑名单以防止克隆公众人物声音。

此外,OpenAI还向合成的声音中添加了水印,以便出现问题时可以进行检测监控,同时呼吁人们采取措施共同应对这一问题:

在银行等敏感信息的安全验证措施中逐步淘汰语音验证方式探索AI时代下个人声音的保护措施教育公众理解AI的局限性,并了解其被用于欺诈的可能加速开发跟踪溯源技术,让人们能够清晰辨别出真人和AI



参考链接:
https://openai.com/blog/navigating-the-challenges-and-opportunities-of-synthetic-voices

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...