卷积神经网络原理推导ppt课件.ppt

卷积神经网络(CNN)原理推导
阿育王626
2016.3.6
1
最新编辑ppt
说明：
先导知识：CNN网络结构、BP网络学****算法
参考文献：Notes on Convolutional Neural Networks
2
最新编辑ppt
典型的CNN网络结构中，包含：
卷积层、下采样层、全连接层
3
最新编辑ppt
1.全连接层学****算法
1.1工作信号正向传播
1.2误差信号反向传播
4
最新编辑ppt
全连接层网络结构图
5
最新编辑ppt
2.1工作信号正向传播
(1)当前第l层的输出xl：
①先求ul：第l-1层的输出xl-1（第l层的输入）与其对应权值Wl相乘，再加上基bl
②再利用激活函数f(.) 得xl：sigmoid或Relu
6
最新编辑ppt
逐层 传播，直至得到最终输出层结果
利用网络输出值与真实值之间的误差，进行反向传播，调整权值。
参数：c表示分类数目，N表示训练样本数
tnk表示第n个样本真实值的第k维
ynk表示第n个样本输出值的第k维
7
最新编辑ppt
(2)误差
①第n个样本的误差：每类（共c类）误差的和
②总误差：每个样本（共N个）误差的和
8
最新编辑ppt
2.2误差信号反向传播
反向传播回来的误差可以看做是每个神经元的基的灵敏度
灵敏度的意思就是基b变化多少，误差会变化多少
也就是误差对基的变化率，即导数（公式1）
9
最新编辑ppt
(1)反向计算各层灵敏度
①输出层第L层灵敏度：
②全连接层第l层灵敏度（公式2）：
10
最新编辑ppt