德州景点:RANet : 分辨率自适应网络,效果和性能的best trade-off | CVPR 2020

admin 1个月前 (05-02) 科技 6 0

基于对自适应网络的研究,论文提出了自适应网络RANet(Resolution Adaptive Network)来举行效果与性能上的取舍,该网络包罗多个差别输入分辨率和深度的子网,难易样本的推剖析自动使用差其余盘算量,而且子网间的特征会举行融合,从实验效果来看,在性能和速度上取得了很不错的trade-off

泉源:晓飞的算法工程条记 民众号

论文: Resolution Adaptive Networks for Efficient Inference

  • 论文地址:https://arxiv.org/abs/2003.07326
  • 论文代码:https://github.com/yangle15/RANet-pytorch

Introduction

  深度CNN带来了性能提升的同时也带来了过高的盘算量,许多研究放在了如何举行网络加速上面,其中对照直接的是凭据样本难易水平举行自动调整的自适应网络。基于对自适应网络的研究,论文提出了自适应网络RANet(Resolution Adaptive Network),头脑如图1所示,网络包罗多个差别输入分辨率和深度子网,样本先从最小的子网最先识别,若效果知足条件则退出,否则继续使用更大的子网举行识别,子网的特征不是独占的,下一级其余子网会融合上一级其余子网特征,从实验来看,论文在效果和性能上取得了很不错的trade-off。

Method

Adaptive Inference Setting

  构建包罗K个分类器的自适应模子,对于输入图片$x$,第$k$个分类器的输出如公式1,$\theta_k$为分类器对应的子网参数,部门参数是分类器间共享的,$p_c^k\in [0, 1]$为$c$种别置信度。

  自适应网络凭据图片的庞大水平动态选择合适的盘算分支,即若当前分类器的输出到达预期,则退出,论文接纳softmax输出的置信度来举行判断,如公式2和公式3所示

Overall Architecture

  RANet的整体结构如图2所示,包罗初始层(Initial Layer)和$H$个对应差别分辨率的子网,每个子网包罗多个分类器。详细流程先使用初始层获得差别分辨率的特征图,然后使用最低分辨率的子网举行展望,若是子网没有获得可靠的效果,则使用下一个分辨率稍大的子网举行展望,重复直到获得可靠的效果或者到达最大分辨率子网。
  在重复迭代展望的过程中,高分辨率层会融合低分辨率层的特征。只管RANet已经在初始层对图片举行了从细​粒度到粗粒度的处置,子网仍然会继续对其举行下采样,直到特征图巨细为$s=1$ scale(示意初始层发生的最小分辨率),分类器只加在最后几个特征图巨细$s=1$ scale的block上。

Network Details

  • Initial Layer

  初始层用于天生$H$个基础特征,特征有$S$个尺寸,图2的初始层包罗3个差别尺寸的特征,第一个特征通过Regular-Conv层发生,后面的特征通过Strided-Conv层发生

  • Sub-networks with Different Scales

  Sub-network 1处置分辨率最低的特征图$x_0^{1,1}$,使用图3(a)的$l$层regular Dense Blocks,每层的输出$x_i^{1,1}$都将通报到Sub-network 2中
  输入巨细为$s$ scale的Sub-network $h$($h>1$)处置基础特征$x^{s,h}$,而且使用图3(b,c)的Fusion Blocks来融合自Sub-network ($h-1$)的特征,包罗两种类型,一种为图3b的保持特征图巨细的类型,另一种为图3C的降低特征图巨细类型。对于低维特征的上采样视当前特征的巨细使用Up-Conv(Regular-Conv+Bilinear interpolation)或Regular-Conv,对于前后特征也会举行毗邻,详细结构细节见图3。
  对于输入为$s$ scale的Sub-network $h$的确立如下:假设$h$子网包罗$b_h$ blocks,block 1至 block $b_{h-1}(b_{h-1} < b_{h})$为Fusion Blocks,特征会下采样$s$次,保证输出的特征图为$s=1$ scale举行分类,剩余的block为regular Dense Blocks。

  • Transition layer

  RANet也使用了DeseNet浓密的transition layer,详细为$1\times 1$卷积+BN+ReLU,为了简朴没有在图2体现

  • Classifiers and loss function

  分类器加在每个子网的后几个block中,在训练阶段,样本会按顺序传给所有的子网,最终的损失是每个分类器盘算交织熵损失加权累积,详细逻辑和权重跟MSDNet一样

Resolution and Depth Adaptation

  RANet的整体结构和MSDNet十分类似,论文与其举行了对比,MSDNet的分类器放到分辨率最低的路径中,若是中心的分类器没有获得相符预期的效果,则会举行下一步所有尺寸的推理展望。而RANet则是从低尺寸到高尺寸逐步使用差其余子网举行推理展望,这样的方式能更好地自适应连系深度和分辨率。

Experiments

Anytime Prediction

  限制单图的盘算量FLOPs,直接纪录自适应网络中所有分类器的性能以及其盘算量举行对比

Budgeted Batch Classification

  限制一批图片的资源总量,需要凭据资源总量设定阈值来控制推理的提前退出,纪录自适应网络的性能以及对应的资源限制

Visualization and Discussion

  图7展示了RANet识其余一些样例,easy为前阶段的分类器能识别成的样本,hard为前阶段识别失败,但后阶段能识别乐成的样本,主要的挑战为多目的、小目的和类间特征不明显的物体

Conclusion

  基于对自适应网络的研究,论文提出了自适应网络RANet(Resolution Adaptive Network)来举行效果与性能上的取舍,该网络包罗多个差别输入分辨率和深度的子网,难易样本的推剖析自动使用差其余盘算量,而且子网间的特征会举行融合,从实验效果来看,在性能和速度上取得了很不错的trade-off

参考内容

  • MSD: Multi-Self-Distillation Learning via Multi-classifiers within Deep Neural Networks - https://arxiv.org/abs/1911.09418



若是本文对你有辅助,贫苦点个赞或在看呗~
更多内容请关注 微信民众号【晓飞的算法工程条记】

,

申博Sunbet

申博Sunbet www.1888ss.com秉承以客为先的理念,多年运营、专业团队、专注服务、值得信赖。

Sunbet声明:该文看法仅代表作者自己,与本平台无关。转载请注明:德州景点:RANet : 分辨率自适应网络,效果和性能的best trade-off | CVPR 2020

网友评论

  • (*)

最新评论

标签列表

    文章归档

      站点信息

      • 文章总数:371
      • 页面总数:0
      • 分类总数:8
      • 标签总数:806
      • 评论总数:76
      • 浏览总数:1843