ShuffeNet相关知识
公子小白白白_ 发布于2021-09-03 浏览:138 回复:3
0
收藏
快速回复

ShuffeNet V1:

ShuffeNet V1是2017年由旷视提出的用于移动端设备的轻量化网络。一般的移动端CNN模型设计思路主要是是两方面:模型结构设计和模型压缩。ShuffleNet就属于模型结构设计,都是通过设计更高效的网络结构来实现模型变小和变快,而不是对一个训练好的大模型做压缩或者迁移。网络得到核心思想是Group convolution和Channel Shuffle,其中Group convolution将卷积计算限制在每个组内,这样可以使得模型的计算量显著的下降,但是 这样也把信息交互限制到了单独的通道内;Channel Shuffle的目的就是为了解决不同组的信息交互的问题,通过Shuffle使得下次的输入来自不同的组。

ShuffeNet V2:

ShuffeNet V2是2018年由旷视提出的用于移动端设备的轻量化网络,是V1的改进版。在同等复杂度下,ShuffleNetv2比ShuffleNet和MobileNetv2更准确。该论文指出了FLOPs虽然是目前衡量模型复杂度的一个通用指标,但是却不完全等同于速度。影响速度的还有内存使用量、模型得到并行程度、部署的平台不同。

四项原则:

1、使用1*1卷积平衡输入和输出通道大小;

2、组卷积要谨慎使用,注意分组的数目;

3、避免网络碎片化;

4、减少元素级别运算;

收藏
点赞
0
个赞
共3条回复 最后由公子小白白白_回复于2021-09-12
#4公子小白白白_回复于2021-09-12
#3 鎏孬回复
实测Shuffe在肿瘤分割任务上也不总是有用的。还是得分具体任务。多试试。
展开

shufflenet只是使得模型轻量化了,肿瘤分割还没有做过。但感觉使用unet那种结构跟好一点,给深层的语义信息融合浅层的空间信息比较重要。而且个人感觉病灶分割是一个对召回率要求比较高的任务,不应该关注模型轻量化。

0
#3鎏孬回复于2021-09-09

实测Shuffe在肿瘤分割任务上也不总是有用的。还是得分具体任务。多试试。

0
#2AndOne6688回复于2021-09-06

赞~

0
快速回复
TOP
切换版块