支持向量回归机.docx
上传者:zhangshut
2022-07-21 16:03:56上传
DOCX文件
32 KB
.
SVM本身是针对经典的二分类问题提出的,支持向量回归机(SupportVectorRegressionSVR)是支持向量在函数回归领域的应用。SVR与SVM分类有以
下不同:SVM回归的样本点只有一类,所寻求的最优超平面不是使两类样本点分得“最开”,而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间,求最优回归超平面同样等价于求最大间隔。
3.3.1SVR基本模型
对于线性情况,支持向量机函数拟合首先考虑用线性回归函数f(x)xb拟合(Xi,yi),i1,2,...,n,XiRn为输入量,yR为输出量,即需要确定和b。
图3-3aSVR结构图图3-3b不灵敏度函数
惩罚函数是学****模型在学****过程中对误差的一种度量,一般在模型学****前己经选定,不同的学****问题对应的损失函数一般也不同,同一学****问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-1o
表3-1常用的损失函数和相应的密度函数
损失函数名称
损失函数表达式%i)
噪声密度p(i)
-不敏感
拉普拉斯
高斯
鲁棒损失
多项式
分段多项式
标准支持向量机采用-不灵敏度函数,
即假设所有训练数据在精度下用线
性函数拟合如图(3-3a)所示,
yif(Xi)i
*
f(Xi)yii1,2,...,n()
*
式中,i,i*是松弛因子,当划分有误差时,,i*都大于0,误差不存在取0
这时,该问题转化为求优化目标函数最小化问题:
()
式()中第一项使拟合函数更为平坦,从而提高泛化能力;第二项为减小误差;
常数C0表示对超出误差的样本的惩罚程度。求解式
()和式()可看出,
这是一个凸二次优化问题,所以引入Lagrange函数:
n
*
i)i[i
i1
n
yf(x。]
()
式中,
0,
*
i[
V\
f(x)](ii
i1
为Lagrange乘数,
1,2,…,n。求函数L对,
b,i,
偶形式,
i*的最小化,对最大化函数:
的最大化,
代入Lagrange函数得至ij对
其约束条件为:
求解式()、
()
鞍点处有:
得出
1
2i
n
1,j1
*
i)(j
*、
i)yi
*
i)
*、,、
j)(xixj)
*
(ii)
1
()
0
C怎么来的
()
式其实也是一个求解二次规划问题,由
Kuhn-Tucker定理,在
i[
表明
■.、■一*■*
yf(x)]0i[iyi
**
0
ii
f(x)]
一个点不能同时
0个等式都满足
()
*不能同时为零,还可以得出:
(C
(C
i)i0
**
i)i0
怎么得到的
()
从式()可得出,当
C时,f(xjyi可能大于
应的xi称为边界支持向量(
BoundarySupportVector,BSV),对应图
3-3a中虚
线带以外的点;当
(0,C)时,f(xi)y
0,与其对应
的为称为标准支持
SVM本身是针对经典的二分类问题提出的,支持向量回归机(SupportVectorRegressionSVR)是支持向量在函数回归领域的应用。SVR与SVM分类有以
下不同:SVM回归的样本点只有一类,所寻求的最优超平面不是使两类样本点分得“最开”,而是使所有样本点离超平面的“总偏差”最小。这时样本点都在两条边界线之间,求最优回归超平面同样等价于求最大间隔。
3.3.1SVR基本模型
对于线性情况,支持向量机函数拟合首先考虑用线性回归函数f(x)xb拟合(Xi,yi),i1,2,...,n,XiRn为输入量,yR为输出量,即需要确定和b。
图3-3aSVR结构图图3-3b不灵敏度函数
惩罚函数是学****模型在学****过程中对误差的一种度量,一般在模型学****前己经选定,不同的学****问题对应的损失函数一般也不同,同一学****问题选取不同的损失函数得到的模型也不一样。常用的惩罚函数形式及密度函数如表3-1o
表3-1常用的损失函数和相应的密度函数
损失函数名称
损失函数表达式%i)
噪声密度p(i)
-不敏感
拉普拉斯
高斯
鲁棒损失
多项式
分段多项式
标准支持向量机采用-不灵敏度函数,
即假设所有训练数据在精度下用线
性函数拟合如图(3-3a)所示,
yif(Xi)i
*
f(Xi)yii1,2,...,n()
*
式中,i,i*是松弛因子,当划分有误差时,,i*都大于0,误差不存在取0
这时,该问题转化为求优化目标函数最小化问题:
()
式()中第一项使拟合函数更为平坦,从而提高泛化能力;第二项为减小误差;
常数C0表示对超出误差的样本的惩罚程度。求解式
()和式()可看出,
这是一个凸二次优化问题,所以引入Lagrange函数:
n
*
i)i[i
i1
n
yf(x。]
()
式中,
0,
*
i[
V\
f(x)](ii
i1
为Lagrange乘数,
1,2,…,n。求函数L对,
b,i,
偶形式,
i*的最小化,对最大化函数:
的最大化,
代入Lagrange函数得至ij对
其约束条件为:
求解式()、
()
鞍点处有:
得出
1
2i
n
1,j1
*
i)(j
*、
i)yi
*
i)
*、,、
j)(xixj)
*
(ii)
1
()
0
C怎么来的
()
式其实也是一个求解二次规划问题,由
Kuhn-Tucker定理,在
i[
表明
■.、■一*■*
yf(x)]0i[iyi
**
0
ii
f(x)]
一个点不能同时
0个等式都满足
()
*不能同时为零,还可以得出:
(C
(C
i)i0
**
i)i0
怎么得到的
()
从式()可得出,当
C时,f(xjyi可能大于
应的xi称为边界支持向量(
BoundarySupportVector,BSV),对应图
3-3a中虚
线带以外的点;当
(0,C)时,f(xi)y
0,与其对应
的为称为标准支持
支持向量回归机