离职谷歌的Transformer作者创业,连发3个模型(附技术报告) 离职谷歌的Transformer作者创业,连发3个模型(附技术报告)
admin
2024-03-25 16:01:16
0次

机器之心报道

编辑:陈萍、小舟

去年 8 月,两位著名的前谷歌研究人员 David Ha、Llion Jones 宣布创立一家人工智能公司 Sakana AI,总部位于日本东京。其中,Llion Jones 是谷歌 2017 年经典研究论文《Attention is all you need》的第五作者,该论文提出了深度学习架构 transformer。transformer 对整个机器学习领域产生了重要影响,并且是 ChatGPT 等生成式 AI 模型的基础。



论文于 2017 年 6 月首次发表后,随着全球对生成人工智能人才竞争不断升温,论文作者陆续离开谷歌,自立门户创业。Llion Jones 是八位作者中最后一个退出谷歌的人。

David Ha、Llion Jones 成立的初创公司 Sakana AI 致力于构建生成式 AI 模型。最近,Sakana AI 宣布推出一种通用方法 ——Evolutionary Model Merge。该方法使用进化算法来有效地发现组合不同开源模型的最佳方法,这些开源模型具有不同功能。Evolutionary Model Merge 方法能够自动创建具有用户指定功能的新基础模型。

为了测试其方法的有效性,研究团队用 Evolutionary Model Merge 方法演化出能够进行数学推理的日语大语言模型(LLM)和日语视觉语言模型(VLM)。实验结果表明这两个模型在没有经过明确优化的情况下,在多个 LLM 和视觉基准上都取得了 SOTA 结果。

特别是,其中进行数学推理的日语 LLM 是一个 7B 参数模型,它在大量日语 LLM 基准上取得了顶级性能,甚至超过了一些 SOTA 70B 参数 LLM。

最终,研究团队应用 Evolutionary Model Merge 方法演化出 3 个强大的基础模型:

1. 大语言模型(EvoLLM-JP)

2. 视觉语言模型(EvoVLM-JP)

3. 图像生成模型(EvoSDXL-JP)

值得注意的是,Evolutionary Model Merge 方法能够自动生成新的基础模型,而不需要任何基于梯度的训练,因此需要相对较少的计算资源。

Sakana AI 团队认为:受自然选择启发的进化算法可以解锁有效的开源方法合并解决方案,以探索广阔的可能性空间,发现传统方法和人类直觉可能错过的新颖且不直观的组合。

技术详解

技术报告介绍了 Evolutionary Model Merge 这种通用进化方法。



报告地址:https://arxiv.org/pdf/2403.13187.pdf

本文的目标是创建一个统一的框架,能够从选定的基础模型中自动生成合并模型,以确保该合并模型的性能超过集合中任何个体的性能,方法的核心是进化算法。研究者首先将合并过程剖析成两个不同的、正交的配置空间,并分析它们各自的影响。基于此分析,他们随后引入了一个无缝集成这些空间的内聚框架。图 1 为示意图。



Evolutionary Model Merge 结合了:(1)合并数据流空间(Data Flow Space)中的模型,以及(2)合并参数空间(权重)中的模型。

数据流空间:是通过进化来发现不同模型各层的最佳组合以形成新模型。下面是这种方法的一个示例:

视频链接:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650912045&idx=2&sn=1495747e4d9ddf79317fabbb58caeb2d&chksm=84e47153b393f845ea4baa8eb4589878b9a4914dd7eb6f1c09b0a4288cdf1a0af0982f819b1b&token=282436732&lang=zh_CN#rd

参数空间:第二种方法是开发混合多个模型权重的新方法,混合不同模型的权重以形成新的模型。下面视频为两种不同模型混合权重的过程说明:

视频链接:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650912045&idx=2&sn=1495747e4d9ddf79317fabbb58caeb2d&chksm=84e47153b393f845ea4baa8eb4589878b9a4914dd7eb6f1c09b0a4288cdf1a0af0982f819b1b&token=282436732&lang=zh_CN#rd

数据流空间和参数空间这两种方法也可以结合在一起来开发新的基础模型:

视频链接:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650912045&idx=2&sn=1495747e4d9ddf79317fabbb58caeb2d&chksm=84e47153b393f845ea4baa8eb4589878b9a4914dd7eb6f1c09b0a4288cdf1a0af0982f819b1b&token=282436732&lang=zh_CN#rd

该研究希望通过进化的方法来帮助找到更好的模型合并方法,通过实验,研究者证明了该方法能够创建具有以前不存在的、新的、具有新兴组合功能的新模型。实验中,研究者使用这种自动化方法生成了两个新模型:一个日语数学 LLM 和一个支持日语的 VLM,它们都是使用这种方法演化而来的。

具有 SOTA 性能的基础模型

该研究提出了三种模型:大型语言模型(EvoLLM-JP)、视觉语言模型(EvoVLM-JP)以及图像生成模型(EvoSDXL-JP)。

EvoLLM-JP

EvoLLM-JP 是一个可以用日语解决数学问题的 LLM。为了构建这样的模型,该研究使用进化算法来合并日语 LLM(Shisa-Gamma)和特定于数学的 LLM(WizardMath 和 Abel)。

实验过程中,研究者允许模型不断的进化迭代,最终模型采用的是在 100-150 次的进化中表现最好的模型。研究者在 MGSM 数据集上进行了评估,以下是评估结果:该表格比较了不同 LLM 用日语解决数学问题的表现,MGSM-JA 列显示正确答案的百分比。模型 1-3 为原始模型,模型 4-6 为优化后的合并模型。模型 7-10 是用于比较的 LLM 得分。



上表为进化后的 LLM 结果。其中模型 4 在参数空间中进行了优化,模型 6 使用模型 4 在数据流空间中进行了进一步优化。这些模型的正确响应率明显高于三个源模型的正确响应率。

不过研究者表示根据以往的经验,手动将日语 LLM 与数学 LLM 结合起来非常困难。但经过迭代努力,进化算法能够有效地找到一种将日语 LLM 与数学 LLM 结合起来的方法,成功地构建了一个兼具日语和数学能力的模型。

除了数学能力外,研究者还评估了模型的日语能力。令人惊讶的是,该研究发现这些模型在一些与数学无关的任务上也取得了高分。值得注意的是,模型并没有经过特定优化,但实际效果还不错。



LLM 日语整体能力比较,其中 Avg 栏是 9 个任务得分的平均值,数值越高,代表 LLM 日语整体能力越高。

EvoVLM-JP

该研究发现,进化算法还可以进化成不同架构的模型。他们通过应用进化模型合并生成了一个日语视觉语言模型 (VLM)。

在构建日语 VLM 时,该研究使用了流行的开源 VLM (LLaVa-1.6-Mistral-7B) 和功能强大的日语 LLM (Shisa Gamma 7B v1)。研究者表示,这是合并 VLM 和 LLM 的第一次努力,其证明了进化算法可以在合并模型中发挥重要作用。以下是评估结果。



VLM 性能比较。

上表中,JA-VG-VQA-500 和 JA-VLM-Bench-In-the-Wild 都是关于图像问答的基准。分数越高,表示用日语回答的答案越准确。

以下为模型在回答有关图像问题的示例展示。两种基线模型经常给出错误的答案,而 EvoVLM-JP 给出正确的答案。

例如用户询问交通信号灯现在是什么颜色时,通常来讲,正确答案是绿色,但是在日语习惯中,都会说成蓝色。可以看出 EvoVLM-JP 比较贴合日语习惯。







EvoSDXL-JP

该研究发现,进化也可以自动发现合并不同扩散模型的方法。



EvoSDXL-JP 根据提示生成图片。

https://sakana.ai/evolutionary-model-merge/

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...