自组织竞争神经网络SOM.

《自组织竞争神经网络SOM.》由会员分享，可在线阅读，更多相关《自组织竞争神经网络SOM.（64页珍藏版）》请在文档大全上搜索。

1、第四章第四章 自组织竞争型神经网络自组织竞争型神经网络本章主要介绍自组织竞争型神经网络的结构、本章主要介绍自组织竞争型神经网络的结构、学习算法，及相关理论。学习算法，及相关理论。2第四章自组织竞争型神经网络第四章自组织竞争型神经网络4.1 前言前言4.2 竞争学习的概念和原理竞争学习的概念和原理4.3自组织特征映射神经网络自组织特征映射神经网络4.4自组织特征映射神经网络自组织特征映射神经网络的设计的设计4.5 对偶传播神经网络对偶传播神经网络4.6小结小结34.1 前言前言n在生物神经系统中，存在着一种侧抑制现象，即在生物神经系统中，存在着一种侧抑制现象，即一个神经细胞兴奋以后，会对周围其他

2、神经细胞一个神经细胞兴奋以后，会对周围其他神经细胞产生抑制作用。这种抑制作用会使神经细胞之间产生抑制作用。这种抑制作用会使神经细胞之间出现竞争，其结果是某些获胜，而另一些则失败。出现竞争，其结果是某些获胜，而另一些则失败。表现形式是获胜神经细胞兴奋，失败神经细胞抑表现形式是获胜神经细胞兴奋，失败神经细胞抑制。制。n自组织竞争型神经网络就是模拟上述生物神经系自组织竞争型神经网络就是模拟上述生物神经系统功能的人工神经网络。统功能的人工神经网络。4n自组织竞争型神经网络是一种无教师监督学习，自组织竞争型神经网络是一种无教师监督学习，具有自组织功能的神经网络。网络通过自身的训具有自组织功能的神经网络。

3、网络通过自身的训练，能自动对输入模式进行分类。这一点与练，能自动对输入模式进行分类。这一点与Hopfield网络的模拟人类功能十分相似，自组织网络的模拟人类功能十分相似，自组织竞争型神经网络的结构及其学习规则与其他神经竞争型神经网络的结构及其学习规则与其他神经网络相比有自己的特点。网络相比有自己的特点。n在网络结构上，它一般是由输入层和竞争层构成在网络结构上，它一般是由输入层和竞争层构成的两层网络。两层之间各神经元实现双向连接，的两层网络。两层之间各神经元实现双向连接，而且网络没有隐含层。有时竞争层各神经元之间而且网络没有隐含层。有时竞争层各神经元之间还存在横向连接。还存在横向连接。5n在学习

4、算法上，它模拟生物神经元之间的兴奋、在学习算法上，它模拟生物神经元之间的兴奋、协调与抑制、竞争作用的信息处理的动力学原理协调与抑制、竞争作用的信息处理的动力学原理来指导网络的学习与工作，而不像大多数神经网来指导网络的学习与工作，而不像大多数神经网络那样是以网络的误差或能量函数作为算法的准络那样是以网络的误差或能量函数作为算法的准则。则。n竞争型神经网络构成的基本思想是网络的竞争层竞争型神经网络构成的基本思想是网络的竞争层各神经元竞争对输入模式响应的机会，最后仅有各神经元竞争对输入模式响应的机会，最后仅有一个神经元成为竞争的胜者。这一获胜神经元则一个神经元成为竞争的胜者。这一获胜神经元则表示对输

5、入模式的分类。表示对输入模式的分类。6n自组织竞争人工神经网络是基于上述生物结构自组织竞争人工神经网络是基于上述生物结构和现象形成的。它能够对输入模式进行自组织和现象形成的。它能够对输入模式进行自组织训练和判断，并将其最终分为不同的类型。训练和判断，并将其最终分为不同的类型。 n与与BP网络相比，这种自组织自适应的学习能网络相比，这种自组织自适应的学习能力进一步拓宽了人工神经网络在模式识别、分力进一步拓宽了人工神经网络在模式识别、分类方面的应用，另一方面，竞争学习网络的核类方面的应用，另一方面，竞争学习网络的核心心竞争层，又是许多种其他神经网络模型竞争层，又是许多种其他神经网络模型的重要组成部

6、分。的重要组成部分。7常用的自组织网络常用的自组织网络n自组织特征映射自组织特征映射(Self-Organizing Feature Map)网络网络n对偶传播对偶传播(Counter propagation)网络网络 返回返回 8自组织神经网络的典型结构自组织神经网络的典型结构 竞争层竞争层输入层输入层4.2 竞争学习的概念与原理竞争学习的概念与原理9分类分类分类是在类别知识等导师信号的指分类是在类别知识等导师信号的指导下，将待识别的输入模式分配到各自的模导下，将待识别的输入模式分配到各自的模式类中去。式类中去。聚类聚类无导师指导的分类称为聚类，聚类无导师指导的分类称为聚类，聚类的目的是将相

7、似的模式样本划归一类，而将的目的是将相似的模式样本划归一类，而将不相似的分离开不相似的分离开。4.2 竞争学习的概念与原理竞争学习的概念与原理竞争学习的概念竞争学习的概念10 相似性测量相似性测量欧式距离法欧式距离法)()(iTiiXXXXXX 类 1 类 2 类 1 类 2 T T (a)基于欧式距离的相似性测量 (b)基于余弦法的相似性测量 两个模式向量的欧式距离越小，两个模式向量的欧式距离越小，两个向量越接近，因此认为这两两个向量越接近，因此认为这两个模式越相似，当两个模式完全个模式越相似，当两个模式完全相同时其欧式距离为零。如果对相同时其欧式距离为零。如果对同一类内各个模式向量间的欧式

8、同一类内各个模式向量间的欧式距离作出规定，不允许超过某一距离作出规定，不允许超过某一最大值最大值T T，则最大欧式距离，则最大欧式距离T T就成就成为一种聚类判据，同类模式向量为一种聚类判据，同类模式向量的距离小于的距离小于T T，两类模式向量的，两类模式向量的距离大于距离大于T T。11 相似性测量相似性测量余弦法余弦法iiTXXXXcos类 1 类 2 类 1 类 2 T T (a)基于 欧式 距离 的相 似性 测量 (b)基于余弦 法的 相似 性测 量两个模式向量越接近，其夹角两个模式向量越接近，其夹角越小，余弦越大。当两个模式越小，余弦越大。当两个模式向量完全相同时，其余弦夹角向量完全

9、相同时，其余弦夹角为为1 1。如果对同一类内各个模式。如果对同一类内各个模式向量间的夹角作出规定，不允向量间的夹角作出规定，不允许超过某一最大夹角许超过某一最大夹角a a，则最大，则最大夹角就成为一种聚类判据。同夹角就成为一种聚类判据。同类模式向量的夹角小于类模式向量的夹角小于a a，两类，两类模式向量的夹角大于模式向量的夹角大于a a。余弦法。余弦法适合模式向量长度相同和模式适合模式向量长度相同和模式特征只与向量方向相关的相似特征只与向量方向相关的相似性测量。性测量。12竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-AllWinner-Take-All网络的输出神经

10、元之间相互竞争以求被激活，网络的输出神经元之间相互竞争以求被激活，结果在每一时刻只有一个输出神经元被激活。结果在每一时刻只有一个输出神经元被激活。这个被激活的神经元称为竞争获胜神经元，而这个被激活的神经元称为竞争获胜神经元，而其它神经元的状态被抑制，故称为其它神经元的状态被抑制，故称为Winner Winner Take AllTake All。4.2 竞争学习的概念与原理竞争学习的概念与原理131.1.向量归一化向量归一化 首先将当前输入模式向量首先将当前输入模式向量X X和竞争层中各神经元对应的内星向量和竞争层中各神经元对应的内星向量W Wj j 全部进行归一化处理；全部进行归一化处理；

11、(j=1,2,(j=1,2,m),m)Tnjjnnjjxxxx12121.XXX14向量归一化之向量归一化之 * * * * * * * * 15向量归一化之向量归一化之 * * * * * * * * * * 16竞争学习原理竞争学习原理竞争学习规则竞争学习规则Winner-Take-All2.2.寻找获胜神经元寻找获胜神经元 当网络得到一个输入模式向当网络得到一个输入模式向量时，竞争层的所有神经元对应的内星权向量均量时，竞争层的所有神经元对应的内星权向量均与其进行相似性比较，并将最相似的内星权向量与其进行相似性比较，并将最相似的内星权向量判为竞争获胜神经元。判为竞争获胜神经元。欲使两单位向