Sora加入Adobe全家桶,视频改图加戏样样行:PR大更新预告 Sora加入Adobe全家桶,视频改图加戏样样行:PR大更新预告
admin
2024-04-17 14:58:07
0次

机器之心报道

编辑:泽南、小舟

这就是生成式 AI 时代的视频编辑工具。

Adobe 全家桶马上就要拥有最先进的生成式 AI 视频创作能力了。

今天,Adobe 宣布了 Premiere Pro 全新版本的更新计划。其中包含为第三方 AI 视频生成模型添加插件,不论是 OpenAI 的 Sora 还是 Runway 的 Gen-2 和 Pika,很快都将出现在 Adobe 工具体系中可被人们所用。

现在,基于 Adobe 自己的大模型 Firefly 的能力,你可以在视频素材上直接添加或减少内容。



转场时感觉少点烘托背景的镜头?现在用 OpenAI 的 Sora 自动生成一段就行了。

Sora 可以在每次 API 调用中为自然语言提示创建最多三种视频变体。



新工具也可以用来「凭空延长」已有镜头内容的长度,不过这一部分似乎不受提示词的控制。



自今年 2 月 OpenAI 推出 Sora 以来,我们一直只能看官方在 TikTok 账号里放 AI 生成视频的 demo,真正的工具还是在「即将发布」的状态。现在新版 Adobe Premiere Pro 都亮相了,可能预示着新技术马上即将落地。

对于 Adobe 高达 3300 万的 Creative Cloud 付费用户群体来说,这更是一件大事,它可能会带来设计领域最彻底和革命性的变化。

有了这一功能,Premiere Pro 用户将能够编辑和处理传统摄像机捕获的实景视频以及 AI 素材并与之混合。想象一下,拍摄一个演员表演逃离怪物的场景的视频,然后用人工智能生成这只怪物 —— 这一步不需要道具、服装和演员,而两个视频片段可以在同一个编辑器中访问并组合在同一个视频文件中。

对于使用更成熟的流程(从计算机到手绘帧)创建的动画也是如此,这些动画可以与 Premiere Pro 上同一文件中匹配的 AI 素材混合。

值得一提的是,从 Adobe 的演示里,我们再次看到了 OpenAI 的 Sora 和其他类似产品存在代差 —— 其生成的视频效果要比其他可用工具要好很多。

与 Adobe 之前发布的许多与 Firefly 相关公告不同,这一次新视频生成工具尚未确定发布日期,Adobe 只是表示它们将在今年推出。

引入第三方先进 AI 大模型对于视频处理来说属于面向未来的探索。据 Adobe 称,这一想法旨在为 Premiere Pro 用户提供更多选择。Adobe 还表示,其内容凭证标签可以应用于这些生成的剪辑,以识别使用哪些人工智能模型来生成它们。

Adobe 的 Premiere Pro(PR)自 1991 年底首次发布 Mac 版以来,一直是世界上最受欢迎的视频编辑程序之一,如今已被世界各地的主要好莱坞电影剪辑师和独立电影制作人使用。它即将迎来一场其 33 年历史上从未有过的革新。



需要注意的是,Adobe 尚未确定何时将这些第三方 AI 视频生成器集成到 Premiere Pro 中,而且细节似乎还没有完全敲定,许多第三方工具在发布后都需要付费订阅。

此外,Adobe 还使用自己内部的生成式人工智能产品(如 Firefly 和 Generative Fill 等),强调其模型是根据其拥有或已获得许可 / 有权使用的数据进行训练的,例如 Adobe Stock 创作者贡献的内容(尽管这令一些 Adobe Stock 摄影师和艺术家感到懊恼)。

Adobe 加码生成式 AI

Adobe 专注于多媒体创作和创意软件产品,在生成式 AI 技术爆发后,这家公司不甘落后快速加入了战局。

上周,据彭博社报道,Adobe 在竞争对手 Midjourney 生成的一些图像上对 Firefly 进行了训练,Midjourney 本身基于开源 AI 模型 Stable Diffusion,在公开抓取和受版权保护的网络数据上进行训练。

今天,Adobe 宣布 Firefly 文本到图像生成模型的一个版本将在「今年晚些时候」集成到 Premiere Pro 中,从而提供一套全新的「生成式 AI 工作流程」及功能。

例如,「生成式扩展」功能将让视频编辑和电影制作人「无缝添加帧以使视频剪辑更长」,而无需拍摄任何新的镜头,这可能是一个非常有用且省钱的功能。Adobe 还表示将让视频实现更平滑的过渡,例如将过于突然结束的剪辑延长,以在某个时刻或动作上停留更长时间。

Firefly for Video 还将确保 Premiere Pro 用户可以执行智能「目标检测和移除」功能,本质上是突出显示视频中的对象(道具、角色、服装、风景等),并允许 AI 模型跨不同帧跟踪它们。同时,用户还可以利用生成式 AI 将这些对象编辑为新对象,快速更改角色的服装或道具,甚至跨多个剪辑和摄像机角度完全移除对象。

最后,Firefly for Video 还将附带文本到视频图像生成器,使其可与 Sora、Runway、Pika 和 Stable Video Diffusion 相媲美。

尽管目前还只是预览版,但 Adobe 针对 Premiere Pro 提供的新一代 AI 集成功能已经赢得了电影制作人和社交媒体创意人士的掌声。

「这对我的真人电影工作非常有帮助」,导演 Kevin K. Shah 说道。

参考内容:

https://venturebeat.com/ai/adobe-to-add-ai-video-generators-sora-runway-pika-to-premiere-pro/

https://www.theverge.com/2024/4/15/24130804/adobe-premiere-pro-firefly-video-generative-ai-openai-sora

https://www.adobe.com/products/premiere/ai-video-editing.html

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...