文 | 周鑫雨

编辑 | 邓咏仪

当大模型加速应用落地，运行成本就成为各厂商的现实考量。

将模型做小，成为现实市场需求下的趋势。但模型的Scaling Law（规模定律）已指出，参数规模是决定模型性能的最关键因素。如何用更小的参数规模，达到比肩大模型的性能，是需要解决的难题。

“以小博大”的励志故事，2023年9月发生在法国AI独角兽Mistral上。其发布的开源模型用7B的参数规模，在MMLU（多任务语言理解）、Knowledge（知识）、Reasoning（推理）、Comprehension（理解）等关键指标上均超越了Meta Llama 2的13B模型。

这一个故事，在2024年2月1日的发布会上，也被AI模型层公司面壁智能的CEO李大海不断提起。

对标Mistral，面壁智能发布了训练数据规模近1T、参数规模仅2B的模型：聚焦于适配端侧硬件的端侧大模型MiniCPM-2B。

为什么瞄准端侧场景？李大海给出的理由，仍然是旺盛的市场需求，和云端协同的部署趋势。自2023年下半年起，三星、华为、小米、特斯拉、理想等国内外手机和智驾厂商都发布了适配于终端硬件的大模型。

在终端硬件厂商加速产品AI化的趋势下，面壁智能认为，成本是大模型的隐形竞争力，“比起size，我们更在意成本”。

以搭载了骁龙855芯片的OPPO手机为例，MiniCPM每秒能处理7.5 Tokens，运行5年后报废，成本为600元，由此可得170万Tokens的推理成本仅1元——MiniCPM的推理成本仅Mistral的1/100，GPT-4的1/360。

据介绍，目前MiniCPM-2B在CPU（比GPU计算吞吐量低）上就能跑起来，相较于用GPU才能运行的大模型，能够降低推理成本。与此同时，即便将大小压缩75%，MiniCPM的性能也能做到基本无损耗。

在性能上，MiniCPM-2B的中文知识能力、代码能力、数学能力已经超过Mistral-7B，而英文知识能力、逻辑能力和常识问答能力还存在一定差距。而在测试模型接近人的程度的评测榜单MT-Bench上，MiniCPM-2B的表现超过了Llama 2-70B-Chat。

MiniCPM-2B和Mistral-7B在主流评测集上的测评结果。图源：面壁智能

MiniCPM-2B和主流模型在MT-Bench上的测评结果。图源：面壁智能

就实际效果而言，MiniCPM-2B能够理解“中夹英”的多语言问题，并用法语作答；同时也能实现代码生成。

MiniCPM-2B的多语言交互。图源：面壁智能

MiniCPM-2B书写自身代码。图源：面壁智能

为了能够让MiniCPM以小博大，面壁智能主要在Infra、算法和数据三个层面，做了技术优化。

在Infra层面，基于集成了训练、推理、压缩、微调的全流程高效Infra，面壁智能能够将推理加速到10倍，将算力成本降低90%。

在算法层面，通过上千次的模型沙盒实验，面壁智能对模型批次大小、超参数配置等最优训练配置进行了探索。

在数据层面，用于MiniCPM的1T精选训练数据，来源于经过数据治理、多维评测的数据工厂。

为了将多模态能力搬上了手机，面壁智能还发布了多模态端侧模型MiniCPM-V。

通过将手机调整为飞行模式来模仿野外无信号的情况，面壁智能演示了野外生存情况下人与MiniCPM-V的多模态问答。比如，MiniCPM-V可以识别毒蘑菇和毒蛇，并给出防护建议。模型响应速度接近7 Tokens/秒，几乎无延迟。

MiniCPM-V有关毒蘑菇的问答。图源：面壁智能

MiniCPM-V有关毒蛇的问答。图源：面壁智能

除了MiniCPM-V这款端侧多模态模型外，面壁智能对12B的多模态模型OmniLMM进行了开源（GitHub地址）：https://github.com/OpenBMB/OmniLMM

相较于MiniCPM-V，OmniLMM不仅支持多模态对话，还支持多模态的实时交互，比如用户可以实时与模型进行石头剪刀布的游戏，也可以让模型实时识别路况。李大海介绍，未来OmniLMM的能力，也将逐步集成到MiniCPM-V上。

OmniLMM有关景点的问答。图源：面壁智能

目前，MiniCPM已经与国际主流手机机型和CPU进行了配置测试。当然，将模型接入终端设备，依然有不少问题亟待解决。

比如接入后，模型是否还能在端侧进行自主学习和迭代？面壁认为，通过高效参数微调技术，目前MiniCPM能在手机夜间充电时段，基于用户人机交互产生的数据知识和信息进行自主微调，但效果仍有待提高。

再比如，模型如何与搭载不同芯片的硬件进行一对一的适配？除了不断推动行业标准的建立，面壁认为目前可行的解法是开源，从而让开发者自行做适配的尝试。目前，MiniCPM也上线GitHub（内含技术报告）：https://github.com/OpenBMB/MiniCPM

无论是端侧模型的自我迭代能力，还是软硬件适配的标准建立，大模型想要进入端侧，仍需要全产业链的推动。

欢迎交流！