最小平方误差判别准则函数
对于上一节提出的不等式组：
在线性不可分的情况下，不等式组不可能同时满足。一种直观的想法就是，希望求一个a*使被错分的样本尽可能少。这种方法通过求解线性不等式组来最小化错分样本数目，通常采用搜索算法求解。
为了避免求解不等式组，通常转化为方程组：
矩阵形式为：
。方程组的误差为：
，可以求解方程组的最小平方误差求解，即：
Js(a) 即为最小平方误差（Minimum Squared-Error，MSE）的准则函数：
准则函数最小化方法
准则函数最小化通常有两种方法：违逆法，梯度下降法。
伪逆法
Js(a) 在极值出对a的梯度为零，即：
于是，得到
，其中
是矩阵Y的伪逆。
一个具体的求解示例如下：
梯度下降法
梯度下降法在每次迭代时按照梯度下降方向更新权向量：
直到满足
或者
时停止迭代，ξ是事先确定的误差灵敏度。
参照感知器算法中的单步修正法，对MSE也可以采用单样本修正法来调整权向量：
这种算法即Widrow-Hoff算法，也称作最小均方根算法或LMS（Least-mean-square algorithm）算法。
（转载请注明作者和出处：未经允许请勿用于商业用途）
版权声明：本文为博主原创文章，未经博主允许不得转载。
，你不能左右天气，但你能转变你的心情
