基于深度迁移学习的图像分类研究

安徽合肥230601）（安徽建筑大学机械与电气工程学院，

摘要院提出一种基于受限玻尔兹曼机和卷积神经网络混合模型的迁移学习图像分类方法袁该方法由其

它两种模型特征的学习能力融合而来袁把图像结构性高阶统计特征提取出来袁进行主题分类遥算法实现过程为首先使用受限玻尔兹曼机替代卷积神经网络模型中的全连接层袁并针对卷积神经网络型的小目标集形成新的功能结构袁以目标集为载体袁对受限波尔兹曼机层和Softmax层进行重新训练曰其次该过程中采用BP算法对相关参数予以调整袁受限玻尔兹曼机层关联maps的同时袁还从最大对数似然的角度完成目标集统计特征的学习袁有效地防止了数据集差异条件对迁移学习特征的负面影响袁保证了数据学习的合理性遥研究表明袁该方法分类准确率高袁适用性强遥

关键词院图像分类曰深度学习曰混合模型曰受限玻尔兹曼机曰卷积神经网络中图分类号院TP391.41

文献标识码院A

文章编号院1672-447X渊2019冤03-0011-05

等方面均得到了应用。目前图像分类研究热点主要包

1引

言

含两个方面：（1）分类算法[1]研究成果有神经网络、决策树等，可以借助支持向量机使分类结果更加准确；

深度学习模式下的混合模型迁移图像分类算法，相较于以往单一的手工图像识别方法，其具备模型中自动学习特征,但该算法所需时间比较长，最新研究成果对卷积神涉及到的数据量相对较大。

将与之经网络表现出的实际特征进行反卷积处理，在模型的一一对应的输入刺激进行重新组织构建，对图片中刺激网络产生情支撑下，完成分析重构，况及特征进行探究，给出了具体的模型优化方法。将受限玻尔兹曼机模型与卷积神经网络结合，对图像进行分类，准确率高，适应性强。2图像分类和卷积神经网络概念2.1

图像分类

采用SIFT方法、（2）特征提取算法，SURF方法、SPM模型等加强图像特征识别。但上述方法在图像特征提无法获得高级语义。因此亟取时仅能获得底层特征，2.2

需探究全新的深度学习算法。

卷积神经网络应用原理为借助图像逐层抽取，卷积神经网络

获取结构化特征，用于对单幅图像高级语义进行表更能够对图像主题示。层级越高，模型特征越抽象，进行展示，很大程度上提高了分类过程中的识别能力[2]。受限玻尔兹曼机具有很强的无监督特征学习学习输入数据能力，能够从最大化对数似然的角度，卷积神经网规律，构建图像高级识别能力统计特征。络对图像各层抽象时，每层都包含很多数字滤波器，以此为载体，把输入数据的典型特点作为提取对象，得出结构特征的同时，还要使其与图像高级语义相符合。应用卷积神经网络进行图像识别，需要完成相

图像分类即借助计算机网络对图像进行自动分

类，使其从属于各语义类别，在医疗、监控和信息检索

收稿日期院2019-02-28

基金项目：安徽省高校优秀青年人才支持计划项目渊gxyqZD2018058冤

作者简介院栾庆磊渊1979-冤袁安徽界首人袁硕士袁安徽建筑大学机械与电气工程学院袁讲师袁研究方向为机器视觉与图像处理遥

窑12窑黄山学院学报2019年应模型建立，具体需要借助调节网络结构来改进优化，以保证模型拥有较高水平的特征学习能力。卷积神经网络模型训练过程中，

涉及到的参数有上百万个，标记样本需求量大，而在小样本集上往往对预训练模型特征提取进行直接应用[3]。3理论基础

基于卷积神经网络模型迁移学习，

数据集之间存在内容差异，致使提取特征识别力受到影响。可以采取如下方法：CNN网络模型达到目标集时，使用受限波尔兹曼机来替代传统的卷积神经网络模型，对全连接的各种特征maps进行全方位组合，使之以整体结构性特征形式存在。实际在特征提取过程中，需要对maps进行输入，加强目标集统计特征学习，达到提取图像结构性高阶特性的目的，使图像分类更加准确[4]。如图1所示是基于受限玻尔兹曼机和卷积神经网络混合模型迁移学习的结构图。

FC6

FC7

FC8

C1C2C3C4C5

R6R7Softmax

卷积层

RBM

Softmax

图1RBM和CNN模型迁移学习结构示意图

在大数据集上，对卷积神经网络模型进行预训练，借助该种方式，使各卷积层和全连接层参数更加直观，继而把这一模型迁移至小目标集，通过各层参数将图像卷积层特点maps提取出来，通过串联，生成单个特征map。完成上述工作之后，把RBM模型和输入特征map连接起来，对R6和R7层参数进行无监督学习，

同时借助BP算法，对Softmax回归、R6和R7层参数作出监督微调。由此才能在此项技术基础上，形成已训练混合模型分类器结构。最终，

发挥这一混合模型优势，采用正确的方式，

科学计算目标集中的待分类图像类别[5]。4混合模型迁移学习实现

将预训练卷积神经网络模型迁移至其它数据集，并对目标集特点进行重新学习。本次研究中提

出的混合模型迁移学习实施方法为对预训练模型做出迁移处理，使其在目标集系统中有所体现，并与受限玻尔兹曼机模型进行融合，在添加高阶统计特征的基础上，对数据集之间的差异进行控制，避免4.1

其影响目标集特征识别能迁移预训练学习中的需要卷依积靠神大经网络力。量的数据模型

集作为载体，

完成卷积神经网络模型的预训练。该模型构成结构中，Soft卷模型max积层训练分类与全中，器连接层正包向含传播在是其全和连接层功能展示的基础。其中，反向调内参。这两卷积个神环节经网络，是构成整体流程的基础。假定网络处理中，K类训练样

本的设定个数为m。由此，单个输入样本则可表示

为（x（i）（i（已,y））指代n维输入向量，而xi）和y（i）

表示该样

本中经被标记的所属类别[6]。以数字1表示当前层，该层的输入特征向量可用xl-1来表示，同样输出特征向量可用xl表示，

此外结构中的某一滑动卷积滤波器权值与偏置可分别表示为wl和bl。各层输入特征如下：

xl=f（ul），ul=wlxl-1+bl

（1）

（{x通常情况下，f（·）为sigmoid函数。样本集

（1），y（1）），…，（x（m），y（m））}中样本数量为m个，卷

积神经网络模型整体代价函数为：

J（w，b）=m

m1移i=（11||h（i）

（i）w，（bx）-y||2）+姿移nl-1

s2lnl+12（l）l=1移i=1移

j=（1

wji

）2（2）

上式姿指权重衰减参数；nl为网络总层数；Sl为网络l层节点数量。实现批量梯度下降，来对具体的应用参数进行调整，

控制整体代价函数的阈值。各层参数w（ijl）和b（li）

更w（ijl）=w（ijl）

-琢b坠坠新如下：

w（l）J（w，b）jij

（il）=b（il）-琢坠（J（w，b）（3）（3）式中，琢坠bl）ji

指代学习速率。通过对各层残差进

行计算，对代价函数的偏导展开运算分析。代价误差达到最小时，便能够得出卷积神经网络模型，并保证该模型的预训练质量[7]。FC8是卷积神经网络模型中位于最末的全连接层，其实质是Softmax回归分类器中的一种，相应的标签可以借助多值向量来展现。将maxx分类输入器到程已知测序，

估试计中，当x借对助应已不同分类经完成训练结果的时soft的第3期栾庆磊院基于深度迁移学习的图像分类研究窑13窑概率p，并利用公式p=（y=k|x）进行表达。将卷积神经网络模型应用到本次研究中，这一模C1-C5型卷积和层FC6-FC8和全连接层，它数量分的主要用别为途是对5个和RGB3个，图即进行96个处11理伊，11规伊格3通的常为卷积核224来伊滑224动处。在理卷224积层伊224C1伊使3用像

号型

C2的输入图像，将滑动从C1层中，系统中一共输使出的用256步长设定为4像素。同96个个5特征伊5伊96maps的卷，完积成核整，来时个分匹配在析过程。另外，在C3-C5的卷积核中，相应的使用数量256以及个规3格伊3情况伊384为，：每384个个连接层3伊3伊FC6-FC8256；384个的3神伊经3伊元384数；

量分=max（别0为，x）4096作为、4096全部、层1000激活。将函非饱数，对于和线获性得的函数特征

f（x）maps以及标准数据，在化处理C1，而与C2C5层层都中会仅进行最需进行最大池大化池处化理处

理，其它层级无需进行相应处理[8]4.2

。在模小型目迁移标学集习

上迁移预训练卷积神经网络模型，再次对受限玻尔兹曼机和卷积神经网络混合模型进行训练，同时借助BP算法，对受限玻尔兹曼机和Softmax分类器层参数进行微调。再次训练混合模型过程中，将预训练卷积神经网络模型上的R7和全新连接层去掉Softmax层，形式使其以存在，受并限在玻尔Soft兹曼max机分类

R6-器上输出层提取特征。充分借助受限玻尔兹曼机层全连接特征优势，科学组合卷积层激活的各类型特征。该实验通过串联每一幅训练图像在C5卷积层输出的256个6伊6特征maps，使其以map形式输出。受限玻尔兹曼机模型R6可视层和隐层节点数量分别为1536伊6和5000个。R7层隐节点数量则为10000个。将训练入情况集假定为10000为K类，维，那么输出Soft为maxK层维特征[9]。向量的输情况

4.2.1

在重模训练型迁移受限当玻中的尔兹曼受限机模玻尔型的分兹曼机析

层，

具备鲜明的全连接特点。能够从输入maps中对目标集统计学习。在双层网络模型结构中，若重构可视层v1与原可视层v并无太大差别，其得出的隐藏层h便具备高识别力统计特点。将全部可见单元和隐单元都假定为二值单元。假使某受限玻尔兹曼机可见单元和隐单元数量分别为n和m，能够得出定义该系统所需能量。如果受限玻尔兹曼机模型参数确定，

能够得出可视层v和隐层h被激活概率：P（hj=1|v，兹）=滓（bj+移i

viWij）

（4）P（vj=1|h，兹）=滓（琢i+移j

Wijhj）

（5）

其中，滓（·）为sigmoid函数。受限玻尔兹曼机模

型训练本质为最大对数似然下的参数估计，即模型能量最小化。该模型并非深度学习模型，而是以各类深度学习模型基础功能模块形式存在。本次研究中，采用两层受限玻尔兹曼机逐层进行无监督特征学4.2.2

习，对输入数据高阶统计特征加以明确[10]。混合模BP算法型中，调整数据参数

集图像分类处理过程为受限玻尔兹曼机层输出的高阶统计特征，借助Softmax分类器实现。训练该分类器过程中，

还要反向前传训练残差得到准确模型分类结果。借助BP算法对各层参数进行有效监督和调整。调整参数过程中，分别通过受限玻尔兹曼机似然函数和BP训练进行反向传播，确保受限玻尔兹曼机统计特征提取性质不发生中的参BP改差算法变。

啄il作反出计算，向参数调数据整需残要对各差主要层来各表输示出相应节点

节点最终输出值偏差量的受影响程度。Softmax分类

器的全部输出单元中，i残差被定义为已知条件，后面层残差反向往前传播。具体实施过程中，BP反向传播到达R6层时便可停止，并转入正向传播。凭借P（hj=1|v，兹）=滓（bj+算分析，并在xl=f移i

viWij）完成对R6与R7层的计

Soft（ul），ul=wlxl-1+bl的指导下，完成

数据max处理层，实计算，现混以合模此在型迭代代训练价误差中，的通过最小不化断递处理进。

的完成混合深度学习模型C-R-Softmax训练之后，分类处理目标集图像。在混合模型中输入待分类图像，依据上述公式，逐层提取特征，并在最终层输出—K维向量[11]。在图像分类过程中，很容易因裁剪不当，出现内容丢失情况，针对这一问题，需要从多个角度对各图像进行全面的裁剪分析，并在规格上设定固定值224伊224，然后需要再次选择已经完成训练的混合模型分类器程序，

用于全部图像的不同视角块进行科学处理，并对图像I属于类别k的概率加以计算：

P（k）=101移10

j=1

p

（k|Ij

）（6）

窑14窑黄山学院学报2019年5实验结果与分析

为了验证本文算法的优越性，

需要通过分类准确率测试及同类法类比，对混合模型的迁移学习方法进行验证。将PascalVOC2007数据集作为实验对象，类别为20种，图像数量9963张，训练集和测试Caltech101集数量分别为5011张和4952张。另一实验对象9144集内容张，图然像数据后，从集再选每一取类共30图被张像划为备用。以中各抽取分成10250类，其中平均准张用作包确训练括率对

图像分类情况加以评价和比较，

见表1和表2。表1

PascalVOC2007数据集下各种方法的平均准确率

模型名称planebikebirdtrainbuscardogchairhorseCNN值84.180.379.651.172.780.988.456.866.4本文

方法

87.3

83.4

83.8

57.2

79.4

86.7

86.9

71.2

71.8

表2

基于Caltech101数据集的各方法平均准确率

模型tabledogbirdsofaTrainCNN本文69.176.979.686.4boat81.9btlpersplantsheep93.766.476.060.387.2方法65.383.488.287.183.793.466.179.868.285.8从表中数据可以看出，

卷积神经网络模型直接VOC2007使用imagenet-caffe-alex模型，整合并提取Pascal

进行分类。数据与直接集中使FC7用层imagenet-caffe-alex的特征，

再利用Soft模型的max卷积神经网络模型算法相比，准确率明显提高。相较于模型迁移学习方法，该算法分类准确率更高，与卷积神经网络模型算法相比，该混合模型使分类平均准确率得到了显著提高。同时，采用受限玻尔兹曼机层对全连接层进行替代，加入目标集独有的统计特性，使用BP算法调整不在监督学习状态下的模型，通过该种方式，

使图像分类更加准确[12]。在PascalVOC2007数据集上，提取卷积神经网络模型的FC6、FC7层输出的特征向量以及混合模型的R6、R7层输出的特征向量等数据指标时，同时对Softmax分类器进行训练处理，

来保证测试集分类的有效性。该实验证明，相较于全连接层，受限玻尔RBM兹曼和机全层连接层提取的提取特征特征向量的平均准更具可确识率别对性[13，14]

3比如表

。

表所3

示RBM。

与全连接层间特征提取准确性的数据对比

模型层名称

FC6R6FC7R7MAP73.2%74.6%73.9%78.8%故而，在迁移学习过程中，借助受限玻尔兹曼机层模型对卷积层的输出特征maps进行整合，相较于直接采用全连接层，可以表现出更好的应用效

果。通过Caltech101数据集的验证分析，可确定混合模型优于单一受限玻尔兹曼机层模型的应用效果，

分类准确率平均提高了10%左右。如图2所示，对比实验模型和RBM模型平均识别率。依托受限玻尔兹曼机层模型从卷积层特征maps中，不在监督学习状态之下的高阶统计结构特征所对应的应用效果要明显优于直接使用受限玻尔兹曼机层模型在原图像中进行学习。

10

0959085本文8075RBM

模型706560

05101520BP25调整次数

303540455060

图2实验平均识别率和RBM模型平均识别率分布图

6图像分类方法的作用及应用案例

现结合深度卷积神经网络图像分类在气象观测3个伊行10业属伊和29中的29的方法对实际应个小类。云用例的案如，图例进行像卷进行分积云分类，析。在、

层云即我、毛卷云3国个，族使、用等10。经过云图信息收集，进行标准化处理，建立标准化数据库，并对数据集分类，然后搭建网络模型，对观测实验的结果进行客观分析。现将混合模型迁移学习图像分类融入到实验当中，

迁移学习能够保存之前训练的各个步骤和成果，保留卷积层以及池化层中产生的各种具体数据。从表4中的数据可以看出，经迁移学习训练后，在步数不断增加的情况下，部分训练步数模型测试准确度得到了提高，而步数持续增加最终使测试准确度出现了下降趋势。在步数达到7000时，测试准确度最高。所以使用迁移学习对CNN模型进行优化后，预测集的准确程度可达到97.8%。可见基于深度学习混合模型的迁移学习图像分类方法能够实现气象观测中更好的云层分类效果，给气象观测行业的发展带来新的技术动力。除了气象观测行业之外，迁移学习图像分类还可被用在水泥回转窑烧成状态分析、医疗影像、化学成分分析等工作当中，带来更优的图像分类方式。

第3期表4步数测试准确度

栾庆磊院基于深度迁移学习的图像分类研究究[J].江西通信科技，2016（4）:35-39.窑15窑部分训练步数模型准确度测试结果100087.7%300095.4%500096.7%700097.8%800096.5%1000096.9%[3]赵媛，孙夏，等.一种基于深度学习的颈动脉斑块超声图像[4]崔华，刘云飞，等.基于CNN深度学习模型的交通图像拥堵[5]张野，李明超，等.基于岩石图像深度学习的岩性自动识别[6]童浩然，楚军，等.基于卷积神经网络的图像分类技术[J].科[7]袁文翠，孔雪，等.基于迁移学习的图像识别研究[J].微型电[8]KrizhevskyA，SutskeverI，HintonGE.ImagenetClassi原TheMITPress，2012:1097-1105.vancesin

脑应用，2018，34（7）:123-124.

ficationwithDeepConvolutionalNeuralNetworks[C]//Ad原

neuralinformationprocessingsystems.USA:

技视野，2017（32）:36-37.

与分类方法[J].岩石学报，2018，34（2）:33-34.识别[J].科技创新与应用，2018（4）:19-20.

识别方法[J].中国医疗器械信息，2017，23（9）:9-11.

7结语

综上所述，该图像分类方法以受限玻尔兹曼机实践效和卷积神经网络混合模型迁移学习为载体，从预训练优秀的神果非常好。在迁移大数据集中，

会利用受限玻尔经网络模型到小目标集的过程中，

max分类器，实施效果非常好。本研究通过简单论述图像分类和卷积神经网络概念，在现有理论基础通过对受限玻尔兹上，充分发挥上述模型的优势，曼机模型进行重训练，并借助BP算法进行参数调整，为全连接卷积层特征maps结构性语义特征获取奠定良好基础，采用专业方法将目标数据集特有的高阶统计特点作为提取对象，确保图像分类更加准确，不会因数据集内容差异对目标集特征识别能提高整体图像力产生影响，达到良好的实施效果，分类质量，为后续研究工作奠定良好的理论基础。

参考文献：

兹曼机层模型进行特征提取，同时监督调整Soft

[9]孙晓晓.基于大规模网络数据的图像分类技术研究[D].天教学模式改革[J].[10]陈琳.基于深度学习的“算法设计与分析”[11]赵永威，李婷，等.基于深度学习编码模型的图像分类方法[J].[12]顾郑平，朱敏，等.基于深度学习的鱼类分类算法研究[J].[13]王文朋，毛文涛，等.基于深度迁移学习的烟雾识别方法[14]XLuo，RShen.ADeepConvolutionNeuralNetworkModelforVehicleRecognitionandFaceRecognition[J].ProcediaComputerScience，2017(107):715-720.

[J].计算机应用袁2017袁37渊11冤院3176-3181袁3193.计算机应用与软件袁2018袁35渊1冤:200-205.工程科学与技术袁2017袁49渊1冤:213-220.科教文汇袁2016渊1冤:57-59.津:南开大学，2018.

[1]曾文军.当深度学习遇到大视频数据[J].中兴通讯技术，[2]刘晓春，陈炼，等.基于深度学习的手写体图像分类识别研2017，23（4）:44-46.

责任编辑院胡德明

LuanQinglei

（Schoolofmechanicalandelectricalengineering,AnhuiJianzhuUniversity,AnhuiHefei,230601,China）

Abstract:ThispaperproposesanimageclassificationmethodbasedonthehybridmodeltransferlearningassociatedwithbothrestrictedBoltzmannmachinesandconvolutionalneuralnetworks,whichex原tractsthestructuralhigh-orderstatisticalfeaturesoftheimagebyintegratingthelearningabilitiesofthefeaturesinthesetwomodelstoachievetheclassification.Thealgorithmisimplementedthroughthefollow原ingsteps:Firstly,therestrictedBoltzmannmachineisappliedtoreplacethefullconnectionlayerintheconvolutionalneuralnetworkmodeltoformanewfunctionalstructureforthesmalltargetsetoftheconvo原lutionalneuralnetworkmodeltomeettheneedsofpreparatorytraining.Withthetargetsetasthecarrier,thelayersofbothrestrictedBoltzmannmachineandSoftmaxarere-trained.Secondly,BPalgorithmisusedtoadjusttherelevantparameterssothattherestrictedBoltzmannlayerisassociatedwiththemapswhilecarryingoutthelearningoftheuniquestatisticalfeaturesofthetargetsetfromtheperspectiveofmaximumlog-likelihood,therebyavoidingtheinterferenceontherecognitionperformanceofthetransferlearningfeaturesduetothecontentdifferencesbetweenthedatasets.Theresultsshowthatthismethodhashighclassificationaccuracyandrobustapplicability.

Keywords:Imageclassification；Deeplearning；Hybridmodel；RestrictedBoltzmannmachine；Convolu原tionneuralnetwork

ResearchonImageClassificationBasedonDeepTransferLearning