模型压缩相关知识-每日三问
公子小白白白_ 发布于2021-09-12 浏览:99 回复:1
0
收藏
是什么?
模型压缩是降低其计算复杂度,以及参数冗余。常用的模型压缩手段有模型剪枝、蒸馏和量化。
为什么?
一般的当使用训练框架在训练平台上将模型训练完成后,需要将模型部署到移动端,而移动端设备的显存以及推理能力不如训练平台。故需要进行模型压缩,降低计算量和参数量,从而降低显存占用以及计算复杂度。
怎样做?
1、剪枝: (1)直接裁剪通道,也就是我们常用的将通道维度降低一半,或者降低1/4。 (2)利用bn层内的缩放因子作为上层贡献的评判标准,当缩放因子比较小的时候,将对应的神经元去掉。或者对bn的缩放因子使用L1正则化,进行稀疏化处理。
2、蒸馏: 采用迁移学习的方法,通过采用预训练的复杂模型的输出作为监督信号去训练另一个简单的网络。
3、量化: 降低模型权重的数值精度,通常在训练平台,使用的训练精度为FP32,之后将其量化为FP16或者INT8。
 
收藏
点赞
0
个赞
共1条回复 最后由公子小白白白_回复于2021-09-12
#2公子小白白白_回复于2021-09-12

最近在准备秋招面试,所以会断断续续的……

0
快速回复
TOP
切换版块