中国也有Sora同款训练架构公司,清华班底,智谱也投了 | 36氪首发 中国也有Sora同款训练架构公司,清华班底,智谱也投了 | 36氪首发
admin
2024-03-14 11:21:25
0次

文 | 周鑫雨

编辑 | 邓咏仪

全球首家发布Sora同款底层架构的清华系模型公司,近期完成了新一轮融资。投资名单中,也出现了大模型独角兽智谱AI的身影。

36氪获悉,近日多模态AI模型公司生数科技完成新一轮数亿元融资。该轮融资由启明创投领投,达泰资本、鸿福厚德、智谱AI、老股东BV百度风投和卓源亚洲跟投。据介绍,融资主要用于多模态基础大模型的研发迭代、应用产品创新及市场拓展。

2023年成立的生数科技,在创立当年已经完成了近亿元的天使轮融资。基于自主研发的多模态通用大模型,生数科技对外提供To B的MaaS(模型即服务)服务和To C的应用产品。

生数科技的核心团队成员,出自清华大学人工智能研究院。联合创始人兼CEO唐家渝出身清华大学自然语言处理实验室,曾任瑞莱只会副总裁、腾讯优图实验室高级产品经理。CTO鲍凡在清华大学计算机系获得博士学位,在加速推理、可控生成、基础架构、训练策略等方面已发表十余篇顶会论文。首席科学家为清华大学计算机系人工智能实验室主任、智源研究院首席科学家朱军。

可以说,2023年是国内大语言模型狂飙的元年。2024年,OpenAI携可生成60秒视频的模型Sora再次登场,立刻带动了国内AI行业对视频、音频、图像、3D等多模态生成技术的探索。

目前,生数科技自研的多模态通用大模型,已经初步具备短视频的生成能力。


短视频生成效果。图源:生数科技

但Sora的空降,也让生数科技立刻调整了战略。以往AI生成视频的长度天花板,是Runway Gen-3的18秒,如今Sora将天花板抬高到了60秒。

唐家渝坦言,长视频生成需要高昂的入场费,A100、A800的卡可能要上万张。资源投入的压力,让团队并没有立刻投入长视频生成的训练。如今长视频生成的路径,已经被OpenAI验证,生数科技决定提高突破长视频能力的优先级。

生数团队对多模态模型的探索最早开始于2013年。在清华实验室阶段,团队早期成员就开始了生成式模型理论基础、高效学习和推理算法,以及音乐生成、人脸合成等多方面的研究工作。

自2020年扩散模型应用于图像生成领域以来,生数团队也是业内首批开展扩散概率模型基础理论和算法研究的队伍,于ICML、NeurIPS、ICLR等顶会发表扩散概率模型领域相关论文20余篇。团队先后推出自研的无训练推理框架Analytic-DPM、全球最快采样算法DPM-Solver,被DALL-E 2、Stable Diffusion等国际项目所采用。

2022年9月,生数科技就发布了9.5亿参数规模的U-ViT网络架构,这也是全球首个Diffusion Transformer架构——1个月后,Stable Diffusion发布了初代DiT架构U-Net,后被应用于Sora的研发。

依托于U-ViT架构,生数科技推出了基于统一的多模态多任务框架的通用基础大模型,可实现图像、视频、3D多种模态的生成。


图像生成效果。图源:生数科技

比如在3D生成的效果上,生数科技模型可以将生成速度压缩到10秒级。与此同时,模型还支持360度全景4D动画生成,以及对3D生成场景的编辑。


3D生成效果。图源:生数科技


3D生成效果。图源:生数科技

在3D等多模态训练数据稀缺的当下,据唐家渝介绍,生数科技多模态模型的训练数据主要来源于两块:互联网上大量公开的数据,通过向版权方购买的私有数据,两者共同完善训练数据的丰富性。

相较于同等参数规模的语言模型,多模态模型的训练,前期的投入更为高昂。为了节省成本,提高训练效率,生数科技构建了完整的工程与数据体系,并在大规模GPU集群上实现更高效、低成本、强兼容的模型训练。唐家渝表示,去年团队花了近一个月的时间做完了华为昇腾训练架构的适配,芯片的国产替代帮助节省了不少成本。

目前,生数科技采取的是To B和To C两条腿走路的商业化模式:对B端提供MaaS服务,对C端提供多模态生成应用。

目前,生数科技已经与多家游戏公司、个人终端厂商、互联网平台等B端机构展开合作。比如在和某头部车企的合作中,生数科技将图像生成能力应用在了车载大屏的壁纸生成。

在C端产品的布局上,生数科技在2023年上线了两款工具型产品:视觉创意设计平台PixWeaver、3D资产创建工具VoxCraft。先面向海外市场推出的VoxCraft,在辅助3D游戏角色开发场景中经过了市场的验证,通过基于VoxCraft生成粗模、底模,游戏开发效率能够提升30%

唐家渝认为,追赶Sora对模型公司而言,仍然拥有巨大的挑战。这份挑战不仅来源于训练数据的数量和质量,也在于对多模态训练数据的处理方式——在OpenAI披露更多训练细节之前,Sora的数据集仍然是个“黑箱”。但乐观的是,多模态模型,已经到了可以走出实验室和机房,落地到更多应用场景的阶段。

以下是投资人评价:

启明创投合伙人周志峰 如今的大模型已经从原来的纯语言模态,逐步走向多模态的探索。生数科技从去年成立之初就选择多模态赛道,是国内这个领域起步最早、积累最深的团队,大量工作被OpenAI、Stable Diffusion团队引用。生数科技推出的U-ViT架构作为全球Diffusion Transformer架构的首创,不仅具有前瞻的技术视野,更是经过了大规模训练的验证,展现出强大的技术可行性。这种兼具开拓性和成熟度的核心工作,让我们对生数科技在多模态大模型方向的长期发展充满信心。 今年过年期间,Sora的亮相不仅展示出视频生成技术的巨大潜力,而且增强了人们对于多模态生成未来发展的信心。随着Scaling Law在视频生成领域的进一步加强,我们预期多模态技术将引领一系列令人瞩目的创新和令人惊叹的成果。在这一过程中,生数科技无疑将扮演一个关键的推动角色!
达泰资本合伙人姚承 在当下大模型赛道的竞争中,生数科技在多方面都脱颖而出。不仅敏锐洞察到多模态的前沿趋势,而且作为国内最早投身多模态赛道的公司,生数科技在过去短短一年的时间内就取得了令人瞩目的成绩单,从基础设施、模型算法、数据资源到场景化应用积累了独特的竞争优势。同时生数科技也是国内极少拥有“从零开始、自主训练”大模型能力的公司,具备深厚理论基础和实践经验,拥有突破主流框架技术难点和瓶颈的技术实力,因此我们坚持在人工智能领域的布局,并对生数科技未来发展充满期待。
智谱AI CEO 张鹏 智谱AI CEO 张鹏表示:作为清华系的创业团队,生数科技是国内最早开展深度生成式AI研究的组织之一。从对抗生成网络到扩散模型,生数科技敏锐洞察到融合架构的重要性,将其作为原生多模态的技术核心和重要支撑。智谱AI很高兴同生数科技展开深入合作,助力生数科技多模态核心技术研发与商业化探索,一同推动多模态大模型技术落地应用,更好惠及千行百业。
华兴资本董事总经理、华兴资本集团联席总裁 王力行 我们身为生数科技的亲密战友,见证了公司的厚积薄发和无限潜力。作为全球顶尖的研发团队,生数科技在基础理论架构和工程实现等层面展现出了超群的创新力和前瞻性,率先提出U-ViT架构并一以贯之,引领了多模态行业的发展;同时团队以极强的执行力和落地速度,陆续在图像、3D、视频生成等领域贡献了艺术级的作品。作为未来数字世界的天才建筑师,生数将率先攻克多模态生成瓶颈,把人类的创造力和艺术构想一一落为现实,始于科学、忠于创新、迈向未来。


欢迎交楼!

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...