收藏!深度学习必读10篇经典算法论文总结-亚博APP安全有保障

日期:2021-03-28 00:43:01 | 人气: 8819

本文摘要:前言目录前言1998年:LeNet2012年:AlexNet2014年:VGG2014年:GoogLeNet2015年:Batch Normalization2015年:ResNet2016年:Xception2017年:MobileNet2017年:NASNet2019年:EfficientNet其他2014年:SPPNet2016年:DenseNet2017年:SENet2017年:ShuffleNet2018:Bag of Tricks结论Reference盘算机视觉是将图像和视频转换成机械可明白的信号的主题。

前言目录前言1998年:LeNet2012年:AlexNet2014年:VGG2014年:GoogLeNet2015年:Batch Normalization2015年:ResNet2016年:Xception2017年:MobileNet2017年:NASNet2019年:EfficientNet其他2014年:SPPNet2016年:DenseNet2017年:SENet2017年:ShuffleNet2018:Bag of Tricks结论Reference盘算机视觉是将图像和视频转换成机械可明白的信号的主题。使用这些信号,法式员可以基于这种高级明白来进一步控制机械的行为。在许多盘算机视觉任务中,图像分类是最基本的任务之一。它不仅可以用于许多实际产物中,例如Google Photo的标签和AI内容审核,而且还为许多更高级的视觉任务(例如物体检测和视频明白)打开了一扇门。

亚博APP安全有保障

自从深度学习的突破以来,由于该领域的快速变化,初学者经常发现它太鸠拙,无法学习。与典型的软件工程学科差别,没有许多关于使用DCNN举行图像分类的书籍,而相识该领域的最佳方法是阅读学术论文。

可是要读什么论文?我从哪说起呢?在本文中,我将先容10篇最佳论文供初学者阅读。通过这些论文,我们可以看到该领域是如何生长的,以及研究人员如何凭据以前的研究结果提出新的想法。可是,纵然您已经在此领域事情了一段时间,对您举行大规模整理仍然很有资助。

本文涉及论文已打包,盘算机视觉同盟 后台回复“9079”获取下载链接1998年:LeNet梯度学习在于文档识别中的应用​摘自“ 基于梯度的学习应用于文档识别”LeNet于1998年推出,为使用卷积神经网络举行未来图像分类研究奠基了基础。许多经典的CNN技术(例如池化层,完全毗连的层,填充和激活层)用于提取特征并举行分类。借助均方误差损失功效和20个训练周期,该网络在MNIST测试集上可以到达99.05%的精度。

纵然经由20年,仍然有许多最先进的分类网络总体上遵循这种模式。2012年:AlexNet深度卷积神经网络的ImageNet分类​摘自“ 具有深度卷积神经网络的ImageNet分类”只管LeNet取得了不错的结果并显示了CNN的潜力,但由于盘算能力和数据量有限,该领域的生长停滞了十年。

看起来CNN只能解决一些简朴的任务,例如数字识别,可是对于更庞大的特征(如人脸和物体),带有SVM分类器的HarrCascade或SIFT特征提取器是更可取的方法。可是,在2012年ImageNet大规模视觉识别挑战赛中,Alex Krizhevsky提出了基于CNN的解决方案来应对这一挑战,并将ImageNet测试装置的top-5准确性从73.8%大幅提高到84.7%。他们的方法继续了LeNet的多层CNN想法,可是大大增加了CNN的巨细。

从上图可以看到,与LeNet的32x32相比,现在的输入为224x224,与LeNet的6相比,许多卷积内核具有192个通道。只管设计变化不大,但参数变化了数百次,但网络的捕捉和表现庞大特征的能力也提高了数百倍。为了举行大型模型训练,Alex使用了两个具有3GB RAM的GTX 580 GPU,这开创了GPU训练的先河。

同样,使用ReLU非线性也有助于降低盘算成本。除了为网络带来更多参数外,它还通过使用 Dropout层探讨了大型网络带来的过拟合问题。

其局部响应归一化方法今后并没有获得太大的普及,可是启发了其他重要的归一化技术(例如BatchNorm)来解决梯度饱和问题。综上所述,AlexNet界说了未来十年的实际分类网络框架:卷积,ReLu非线性激活,MaxPooling和Dense层的组合。2014年:VGG超深度卷积网络用于大规模图像识别​来自Quora“ https://www.quora.com/What-is-the-VGG-neural-network”在使用CNN举行视觉识别方面取得了庞大乐成,整个研究界都大吃一惊,所有人都开始研究为什么这种神经网络能够如此精彩地事情。

例如,在2013年揭晓的“可视化和明白卷积网络”中,Matthew Zeiler讨论了CNN如何获取特征并可视化中间表现。突然之间,每小我私家都开始意识到CNN自2014年以来就是盘算机视觉的未来。在所有直接关注者中,Visual Geometry Group的VGG网络是最吸引眼球的网络。

在ImageNet测试仪上,它的top-5准确度到达93.2%,top-1准确度到达了76.3%。遵循AlexNet的设计,VGG网络有两个主要更新:1)VGG不仅使用了像AlexNet这样的更广泛的网络,而且使用了更深的网络。VGG-19具有19个卷积层,而AlexNet中只有5个。

2)VGG还展示了一些小的3x3卷积滤波器可以取代AlexNet的单个7x7甚至11x11滤波器,在降低盘算成本的同时实现更好的性能。由于这种优雅的设计,VGG也成为了其他盘算机视觉任务中许多开拓性网络的主干网络,例如用于语义支解的FCN和用于工具检测的Faster R-CNN。

随着网络的深入,从多层反向流传中梯度消失成为一个更大的问题。为相识决这个问题,VGG还讨论了预训练和权重初始化的重要性。这个问题限制了研究人员继续添加更多的层,否则,网络将很难融合。

可是两年后,我们将为此找到更好的解决方案。2014年:GoogLeNet更深卷积​摘自“ Going Deeper with。


本文关键词:亚博APP安全有保障

本文来源:亚博APP安全有保障-www.xpyrd.com