免费AI“神器”系列第七弹:华为首个AI图像生成模型论文公布;克隆数字分身应用近期爆红|钛媒体AGI 免费AI“神器”系列第七弹:华为首个AI图像生成模型论文公布;克隆数字分身应用近期爆红|钛媒体AGI
admin
2024-03-12 15:14:24
0次


近期,生成式人工智能(AIGC)领域又涌现出多款创意十足的新应用。

今天,钛媒体AGI梳理了免费 AI “神器”系列第七弹,共五款,其中不少产品再一次拓宽了我们对AI的想象力。

华为首个 AI 图像生成模型——PixArt-Σ音乐生成模型——Chat Musician克隆自己的数字分身——D-IDAgent可以读唇语的大模型框架——VSP-LLM医学检索增强生成(RAG)框架——MIRAGE1、华为首个 AI 图像生成模型PixArt-Σ亮相

产品信息:日前,华为诺亚方舟实验室团队在arxiv平台上发布多篇论文,展示华为首个 AI 图像生成模型PixArt-Σ技术,参数规模为6亿左右,其采用与Sora的Diffusion Transformer (DiT) 架构,可直接生成 4K 分辨率的 AI 图像。

产品功能:华为团队在论文中表示,相比其前身PixArt-α,新的PixArt-Σ在训练效率、数据质量、图像标题配对、图像生成质量等方面都有巨大提升,提供明显更高保真度的图像,并改进了与文本提示的一致性。同时,PixArt-Σ以显著较小的模型规模实现了优于现有文本到图像扩散模型,如 SDXL (26 亿参数) 和 SD Cascade (51 亿参数)的图像质量和用户提示遵从能力。 华为团队在论文中强调,新的PixArt-Σ可生成 4K 图像能力,从而将有效增强电影和游戏等行业中高质量视觉内容的制作。


体验地址:https://pixart-alpha.github.io/PixArt-sigma-project/

2、可以理解和生成音乐的大语言模型——Chat Musician

产品信息:Chat Musician是一个能理解和生成音乐的开源大语言模型,通过持续预训练和微调LLaMA2,采用文本兼容的音乐表示方式——ABC符号,使模型能够像处理语言文本一样理解和生成音乐。


产品功能:首先是音乐生成功能,ChatMusician可以根据给定的文本提示、和弦序列、旋律线索、音乐主题等,自动生成结构完整、风格多样的音乐作品,性能超越GPT-4的基线。

其次是音乐理解功能,ChatMusician可以理解和分析音乐理论的各个方面,如和声分析、旋律结构、音乐形式等。在专为大学级音乐理解基准测试MusicTheoryBench上,ChatMusician在零样本设置中超过了LLaMA2和GPT-3.5,展示了其在音乐理论理解方面的优异性能。

此外,ChatMusicia还提供了大规模的音乐语言语料库(MusicPile)、音乐理论基准测试(MusicTheoryBench)、模型代码和在线演示,以供研究和教育使用。

项目演示:https://shanghaicannon.github.io/ChatMusician/

论文地址:https://arxiv.org/pdf/2402.16153.pdf

3、克隆自己的数字分身——D-IDAgent

产品介绍:D-IDAgent是生成数字人平台D-ID推出的一项可定制AI化身功能,用户只需通过一张照片就能生成属于自己的AI数字人。

产品功能:用户可以通过上传一张照片或一段语音就能生成属于自己的AI数字人,并且生成的数字人可实现人性化交互。在接受用户指令后,数字人可以通过面部表情和手势以及多种语言进行回应,提供类似真人的面对面沟通体验。此外,D-IDAgent可以通过链接或嵌入到网站上与他人共享AI代理。


据悉,D-ID Agent利用检索增强生成 (RAG) 技术,能够更加了解用户的环境并能在两秒内提供超过 90% 的准确率响应查询,支持多种主要语言,可满足不同用户生成需求。

D-ID Agent的使用场景丰富,电商行业可利用数字人进行广告代言、直播、产品推广和营销;教培行业可利用数字人生成数字教师进行线上授课;视频创作者可以用数字人代替真人拍摄,从而降低视频制作成本,提升视频制作效率。

付费方面,D-ID Agent有14天免费试用期,超过试用期有三种按月付费标准,不同的付费标准对应不同的使用功能,比如在生成视频时长,支持插件和视频水印方面都有区别。


体验地址:https://studio.d-id.com/

4、可以读唇语的大模型框架——VSP-LLM

产品信息:VSP-LLM是一款基于AV-HuBERT模型开发的语言模型框架,该框架将视觉语音处理和大语言模型(LLMs)进行结合,旨在利用LLMs的上下文理解能力来提高视觉语音识别和翻译的准确性和效率。

产品功能:VSP-LLM可以通过观察视频中人物的唇部动作,识别和理解说话内容,并将这些内容直接翻译成目标语言文本。同时,利用先进的视觉语音识别技术,结合大语言模型的上下文理解能力,VSP-LLM通过自监督学习,可以智能识别和去除视频中的冗余信息,避免内容重复,提升内容生成速度和准确性。


GitHub:

https://github.com/sally-sh/vsp-llm?tab=readme-ov-file&continueFlag=a18ff0efaae82b7b920d78ac725952b5

论文:https://arxiv.org/abs/2402.15151v1

5、医学检索增强生成(RAG)框架——MIRAGE

产品信息:MIRAGE是一个基于搜索增强生成(RAG)的框架,旨在提高医学问答(QA)任务中的性能。

MIRAGE框架包含来自生物医学领域五个常用QA数据集的7663 个问题,通过在工作中引入的 MedRag工具包对不同语料库、检索器和骨干LLM 的 41 种组合进行了超过 1.8 万亿个提示标记的大规模实验。


产品功能:首先是增强医学问答准确性,通过检索增强生成(RAG)技术,MEDRAG利用最新可靠的医学文档信息来辅助大型语言模型(LLM),提高医学问答任务中的准确性和可靠性。

其次是系统性评估医学RAG系统,MIRAGE基准为医学问答领域的检索增强生成(RAG)系统提供了一个系统性评估平台。这种评估有助于识别哪些方法在处理医学信息时最有效,特别是在准确性和可靠性方面。

再次,提供医学专用工具包,MEDRAG工具包集成了多个领域特定的语言资料库、搜索器和大型语言模型(LLM),支持研究人员在医学问答任务上进行全面的实验和评估。这些组件包括专门为医学领域设计的文档库、针对医学信息优化的搜索算法以及适用于医学问答的LLM。

最后,零样本学习能力,MEDRAG特别关注RAG系统的零样本学习能力,即在没有给出具体例子的情况下,系统能够解答新的、未见过的医学问题。通过提高系统的零样本学习能力,可以确保医学问答系统即使在缺乏特定数据的情况下也能提供准确的答案,显著提高系统在实际应用中的灵活性和有效性。

论文地址:https://arxiv.org/abs/2402.13178

GitHub地址:https://github.com/abi/screenshot-to-code

(本文首发钛媒体App,作者|章橙,编辑|林志佳)


相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...