上下文感知的自适应量化框架(CAQ)

面对不断变化的动态情境,深度学习模型既不能接受人工操作的统一量化方法带来的再训练成本,也不能接受从庞大设计空间重新搜索混合精度量化策略的巨大时间开销。上下文感知的自适应量化框架(Co...

        面对不断变化的动态情境,深度学习模型既不能接受人工操作的统一量化方法带来的再训练成本,也不能接受从庞大设计空间重新搜索混合精度量化策略的巨大时间开销。上下文感知的自适应量化框架(Context-aware Adaptive Quantization framework, CAQ)则通过引入门模块作为量化策略产生器,在深度模型运行时根据模型的资源环境动态切换不同的门以产生主干网络分层匹配的混合精度量化策略,实现量化网络运行时的快速自适应调整。

        CAQ算法基于Python 3.6+CUDA cuDNNtorch等依赖库开发。算法输入为深度模型的部署情境,如设备电量、内存、计算力等,输出则为根据动态运行情境快速自适应调优的量化模型。该算法支持于CIFAR-10CIFAR-100ImageNet等数据集上深度学习模型的自适应量化。且在实现过程中,该算法参考了Fractional SkippingSkipNet等第三方资源实现。


算法名称

上下文感知的自适应量化框架

(Context- aware Adaptive Quantization Framework, CAQ)
算法接口
python caq.py --config_file config.yaml
输入
深度模型的部署情境(输入、电量、内存、计算力)
输出
根据动态运行情境快速自适应调优的量化模型
支持数据集
CIFAR-10、CIFAR-100ImageNet
依赖库
Python 3.6+、NVIDIA GPU + CUDA cuDNNtorch
参考资源
Fractional Skipping、SkipNet

Gitlab链接:CAQ · GitLab (crowdhmt.com)

你可能感兴趣的文章

相关问题

0 条评论

请先 登录 后评论
hcshen
hcshen

5 篇文章

作家榜 »

  1. LH 10 文章
  2. 尹懋龙 10 文章
  3. 旺仔牛奶opo 9 文章
  4. mingze 8 文章
  5. Ruonan 6 文章
  6. Marco Legend 6 文章
  7. 王家瑶 5 文章
  8. hcshen 5 文章