第4章非参数判别分类方法(线性判别函数)

《第4章非参数判别分类方法(线性判别函数)》由会员分享，可在线阅读，更多相关《第4章非参数判别分类方法(线性判别函数)（85页珍藏版）》请在文档大全上搜索。

1、 模 式 识 别 徐蔚然北京邮电大学信息工程学院北京邮电大学信息工程学院非参数判别分类方法 n包括内容n第4章 线性判别函数n第5章 非线性判别函数n第6章 近邻法n第11章 人工神经网络n第13章 统计学习理论和支持向量机学习目的学习目的 n(1) 掌握非参数判别分类法的原理n(2) 掌握机器自学习的原理n(3) 学习线性分类器的典型算法n(4) 用近邻法进行分类(第六章)n(5) 通过相应数学工具的运用进一步提高运用数学的本领重点重点 n(1) 非参数判别分类器的基本原理n(2) 线性分类器的典型方法n以Fisher准则为代表的传统模式识别方法n以感知准则函数为代表的机器自学习方法n(3)

2、 线性分类器扩展到非线性分类器n(4) 近邻法的工作原理及其改进 难点难点 n(1) Fisher准则函数，其中用到向量点积，带约束条件的拉格朗日乘子法以及矩阵的特征值、特征向量等数学工具。要求对这些数学工具较深理解。n(2) 感知器准则函数提出利用错误提供信息实现叠代修正的学习原理(3) 近邻法的改进知知识识点点 贝叶斯决策理论和统计判别方法 n采用统计分布来描述来描述d维特征空间中的样本分布n采用分类器中最重要的指标错误率作为产生判别函数和决策面的依据n给出了最一般情况下适用的“最优”分类器设计方法n对各种不同的分类器设计技术在理论上都有指导意义。 n贝叶斯决策理论设计分类器的步骤n过程n

3、首先得到有关样本总体分布的知识n先验概率n类条件概率密度函数n计算出后验概率贝叶斯决策理论和统计判别方法n问题n获取统计分布及其参数这部分是很困难 n实际问题中并不一定具备获取准确统计分布的条件 贝叶斯决策理论和统计判别方法非参数判别分类方法n模式识别的设计过程n主要关键部分: 是设计判别函数、决策面方程的确定过程n模式识别的设计过程改成： 由于这种方法跳过了统计分布的参数估计，没有使用统计参数作为依据，因此也是非参数判别分类方法。非参数判别分类方法。 而以贝叶斯决策方法为基础的方法则称为参数判别方参数判别方法法。 非参数判别分类方法n主要的方法n线性分类器 (第4章)n非线性判别函数 (第5

4、章)n近邻法 (第6章)n人工神经网络(第11章)n支持向量机(第13章)通常的模式识别方法都属于该类别方法非参数判别分类方法n回顾正态分布概率模型的最小错误率贝叶斯分类器n在特殊情况下，判别函数与决策面方程会呈现某些典型的形式 n当各类协方差矩阵都相等时，可得到线性分类器n如果各类样本的分布为等半径的超球体形式，且先验概率相等，则又可得到最小距离分类器n而在正态分布的一般情况下，决策面为超二次曲面形式，属非线性分类器非参数判别分类方法n线性分类器计算最简单，得到广泛重视与深入研究，并在设计分类器时作为优先考虑的类型n对非线性分类器则着重讨论分段线性判别函数的基本概念与基本做法n近邻法是分段线

5、性判别函数的一种典型方法n主要依据: 同类物体在特征空间具有聚类特性的原理n注意: 这些准则的“最优”并不一定与错误率最小相一致非参数判别分类方法n参数与非参数判别方法的重要不同点n参数分类方法: 判别函数及决策面方程的类别确定是由样本分布规律决定的n非参数判别方法: 使用什么典型的分类决策方法要预先由设计者确定，然后利用训练样本集提供的信息确定这些函数中的参数n非参数判别分类方法的两个过程n选择函数类型n确定参数第4章 线性分类器 线性判别函数的基本概念n线性判别函数模式识别方法的基本思想n设计分类器的关键问题是设计判别函数n假设判别函数是线性函数n用训练样本去估计线性判别函数的参数线性判别

6、函数的基本概念n线性判别函数的表示n设样本d维特征空间中描述，则两类别问题中线性判别函数的一般形式可表示成 n其中 而0是一个常数，称为阈值权。 线性判别函数的基本概念n决策规则 ng(X)0就是相应的决策面方程n在线性判别函数条件下它对应d维空间的一个超平面线性判别函数的基本概念线性判别函数的基本概念n向量W的意义n假设在该决策平面上有两个特征向量X1与X2，则应有 n向量W与该平面上任两点组成的向量(X1-X2)正交，因此W就是该超平面的法线向量。线性判别函数的基本概念n向量W的意义n而g(X)也就是d维空间中任一点X到该决策面距离的代数度量n该决策平面将这两类样本按其到该面距离的正负号确

7、定其类别。 线性判别函数的基本概念nw0则体现该决策面在特征空间中的位置 n当w0=0时，该决策面过特征空间坐标系原点n而w00时，则w0/|W|表示了坐标原点到该决策面的距离。 线性判别函数的基本概念线性判别函数的基本概念n线性方程向量表示形式的补充说明n二维空间直线方程: w2X2+w1X1+w0=0 nw2X2+w1X1是向量(w1,w2)和(X1,X2)的点集n注意:一条直线可以对应无穷多个直线方程线性判别函数的基本概念n线性方程的规一化表示方法n我们定义 n则直线方程也可表示为:但参数向量模|W|为1 而WTX就是直线上任一点到W向量的投影 广义线性判别函数 n线性判别函数不能用于稍

8、复杂的情况n例如:欲设计这样一个一维样本的分类器，使其性能为：用线性判别函数显然就无能为力了 图像表示图像表示返回广义线性判别函数n设计新判别函数n辨别函数:g(x)(x-a)(x-b) n相应的决策规则:能达到所要求的分类效果，不再是x的线性函数，而是一个二次函数 辨别函数图像表示广义线性判别函数 n线性判别函数优点n具有形式简单n计算方便的优点n已被充分研究 n希望能将其用适当方式扩展至原本适宜非线性判别函数的领域 广义线性判别函数 n广义线性判别函数n选择一种映射XY，即将原样本特征向量X映射成另一向量Y，从而可以采用线性判别函数的方法。例如对于二次函数情况，其一般式可表示成 如果我们采

9、用映射xY，使广义线性判别函数 n广义线性判别函数n则判别函数g(x)又可表示成n此时g(x)被称为广义线性判别函数，a称为广义权向量。 _广义线性判别函数The mapping y = (1,x,x2)t takes a line and transforms it to a parabola in three dimensions.A plane splits the resulting y-space into regions corresponding to2 categories广义线性判别函数n广义线性判别函数n按照这种原理，任何形式的高次判别函数都可转化成线性判别函数来处理。n这

10、种处理非线性分类器的方法，在支持向量机中得到充分的研究。n产生问题: 维数会增加很多 广义线性判别函数 n一种特殊的映射方法 n将X增广至 广义线性判别函数 n一种特殊的映射方法 n并将g(x)中的W向量与w0统一表示成其中w1，w2，w3.wd为向量w各分量 广义线性判别函数 n一种特殊的映射方法n则线性判别函数g(X)可以表示成 这是广义线性判别函数的一个特例 被称为增广样本向量，称为增广权向量。 广义线性判别函数n一种特殊的映射方法n这样,特征空间增加了一维，但保持了样本间的欧氏距离不变n对于分类效果也与原决策面相同n只是在Y空间中决策面是通过坐标原点的，这在分析某些问题时具有优点 广义