分布式实时自适应分割方法DiRAP

DiRAP由存算一体的角度,综合考虑实时自适应的深度学习推理框架。面对动态情境,精细化设计分割决策空间,以降低卸载决策时延;模型动态切换时,自适应增量式加载深度模型,降低加载时延及冗余资源消耗。

面对移动端深度学习驱动的真实场景,现有工作关注如何分割模型以加速协同推理,缺乏对响应时延的整体调优,动态情境下的自适应能力较差。DiRAP由存算一体的角度,综合考虑实时自适应的深度学习推理框架。面对动态情境,精细化设计分割决策空间,以降低卸载决策时延;模型动态切换时,自适应增量式加载深度模型,降低加载时延及冗余资源消耗。

  DiRAP算法基于Python3.6+环境下的numpytorch等依赖库开发。算法的输入为:模型的运行情境(设备资源预算、用户时延需求等),输出为:自适应调优之后的分割策略以及对应模型卸载计划。


算法名称

Distributed Runtime Adaptive Partition method, DiRAP

算法接口

python dirap.py --config_file config.yaml

输入

深度模型及其动态运行情境,构建的搜索图G

输出

根据动态运行情境自适应调优的模型分割点以及模型的卸载计划

支持数据集

CiFar-10、CiFar-100、ImageNet、BDD100K

依赖库

Python 3.6+、numpy、torch

参考资源

IONN: Incremental offloading of neural network computations from mobile devices to edge servers


你可能感兴趣的文章

相关问题

0 条评论

请先 登录 后评论
LH
LH

9 篇文章

作家榜 »

  1. 尹懋龙 10 文章
  2. LH 9 文章
  3. mingze 8 文章
  4. admin 6 文章
  5. hcshen 5 文章
  6. Marco Legend 4 文章
  7. 旺仔牛奶opo 3 文章
  8. Hao98 2 文章