# [Mobicom'24]Mobile Foundation Model as Firmware
*代码是否开源：是 [https://github.com/UbiquitousLearning/MobileFM]*
##文章摘要
>在当前的人工智能时代，智能手机等移动...
# [Mobicom'24]Mobile Foundation Model as Firmware
*代码是否开源：是 [https://github.com/UbiquitousLearning/MobileFM]*
##文章摘要
>在当前的人工智能时代，智能手机等移动设备的任务是在本地执行无数的深度神经网络(dnn)。它呈现了一个复杂的场景，因为这些模型在体系结构、操作符和实现方面是高度分散的。这种碎片化对硬件、系统和算法的协同优化提出了重大挑战，以实现高效、可扩展的移动人工智能。受大型基础模型最近突破性进展的启发，本工作为移动人工智能引入了一种新的范式，其中移动操作系统和硬件共同管理能够服务于各种移动人工智能任务的基础模型。这个基础模型的功能类似于固件，不能被应用程序或操作系统修改，作为系统服务公开给应用程序。他们可以通过一个小型的、离线的、对各种下游任务进行微调的“适配器”来调用这个基础模型。我们提出了这一愿景的具体设计，称为M4，并从公开可用的预训练模型中创建原型。为了评估其能力，我们还建立了一个由38个移动AI任务和50个数据集组成的综合基准，涵盖5个多模态输入。大量的实验证明了M4的显著结果:它在85%的任务中达到了相当的准确性，在存储和内存方面提供了增强的可扩展性，并且具有更简单的操作。从更广泛的角度来看，这项工作为后llm时代的高效和可扩展的移动人工智能铺平了新的道路。
## 一句话总结内容
> 提出了一种支持海量DL任务的移动端基础模型
## 一句话总结创新贡献
> 提出了M4，多模态移动基础模型的第一个架构设计和实现
> 通过“N-1-M”架构设计，M4可以接受各种模态的数据输入，并输出各种模态的数据和实现海量下游任务
## 本文挑战及已有工作不足
> 移动端深度模型多样化导致系统执行效率低，体现在三方面：专用加速器难以支持所有模型算子、冗余的存储和计算、不同编译框架上的执行效率可能出现明显差异
## 印象最深刻的点
> 庞大的工作量，对38个移动DL任务和50个数据集，及其对应的SOTA网络结构进行测试，并提出了移动端基础模型的benchmark
## 对我们的启发
> 验证环节的完备性（包括不同移动主流任务和数据集）对于mobile工作而言和技术方法一样重要
## Idea是否好想
> 比较好想
## 是否有开创性
> 是
## 是否属于Vision
> 是
## 是否属于热点
> 是，大模型相关
