在深度模型分割相关研究中，时延预测直接决定了搜索到的模型分割方案的效果。然而，现有深度模型分割研究中多以实际测量的方式来获取，普适性较低且耗时耗力、实用性不强。
在深度模型分割相关研究中，时延预测直接决定了搜索到的模型分割方案的效果。然而，现有深度模型分割研究中多以实际测量的方式来获取，普适性较低且耗时耗力、实用性不强。因此，该分割方法提出自动化模型分割层时延预测器（ALLPPS）时延预测模型，针对不同类别层构建不同的时延预测器。主要针对推断时延在不同参数配置变化下呈现出的复杂的非线性结构，采用强化采样的方式，有针对性地在偏离预测值较大的数据附近再采样，并选用随机森林的方式进一步提升预测准确率。
ALLPPS算法是基于Python3.6环境下的sklearn、numpy、torch、csv、joblib、random等依赖库开发。算法输入为深度模型操作种类及相关参数、给定硬件平台上执行用时，输出则为给定硬件平台下不同深度模型操作时延预测模型。在代码实现的过程中，ALLPPS算法参考了nn-Meter工作。
算法名称
| 自动化模型分割层时延预测器
（Automated layer-wise latency predictor for partition
schema，ALLPPS） |
算法接口
| python forest.py
|
输入
| 深度模型操作种类及相关参数、给定硬件平台上执行用时
|
输出
| 给定硬件平台下不同深度模型操作时延预测模型
|
依赖库
| python3.7+、sklearn、numpy、torch、csv、joblib、random
|
参考资源
| nn-Meter
|
