正则化技术,train loss不断下降 valid loss不断上升accuracy上升怎么解决？

正则化技术,train loss不断下降 valid loss不断上升accuracy上升怎么解决？详细介绍

本文目录一览： 正则化是什么意思

正则化的意思：修改学习算法，使其降低泛化误差而非训练误差。
正则化，英文为regularizaiton，定义是修改学习算法，使其降低泛化误差（generalization error）而非训练误差。旨在更好实现模型泛化的补充技术，即在测试集上得到更好的表现。它是为了防止过拟合，进而增强模型的泛化能力。
正则化的常见方法
1、提前终止法（earlystopping）
提前终止法适用于模型表达能力很强的时候。此时模型的训练误差会随着训练次数的增多而逐渐下降，但是训练误差却会随着训练次数的增加呈现先下降再上升的趋势（模型可能开始过拟合），提前终止法就是在训练误差最低的时候终止训练。
2、模型集成（ensemble）
常用的模型集成方法有：bagging、boosting、stacking。
3、dropoutd
dropoutd的基本步骤是在每一次的迭代中，随机删除一部分节点，只训练剩下的节点。每次迭代都会随机删除，每次迭代删除的节点也都不一样，相当于每次迭代训练的都是不一样的网络，通过这样的方式降低节点之间的关联性以及模型的复杂度，从而达到正则化的效果。

正则化详解

机器学习模型需要拥有很好地泛化能力来适应训练集中没有出现过的新样本。在机器学习应用时，我们经常会遇到过度拟合(over-fitting)的问题，可能会导致训练出来的模型效果很差。接下来，我们将谈论的正则化(regularization)技术，它可以改善或者减少过度拟合问题，以使学习算法更好实现。
机器学习中一个重要的话题便是模型的泛化能力，泛化能力强的模型才是好模型，对于训练好的模型，若在训练集表现差，不必说在测试集表现同样会很差，这可能是欠拟合（under fitting）导致；若模型在训练集表现非常好，却在测试集上差强人意，则这便是过拟合（over fitting）导致的，过拟合与欠拟合也可以用 Bias 与 Variance 的角度来解释，欠拟合会导致高 Bias ，过拟合会导致高 Variance ，所以模型需要在 Bias 与 Variance 之间做出一个权衡。
使用简单的模型去拟合复杂数据时，会导致模型很难拟合数据的真实分布，这时模型便欠拟合了，或者说有很大的 Bias， Bias 即为模型的期望输出与其真实输出之间的差异 ；有时为了得到比较精确的模型而过度拟合训练数据，或者模型复杂度过高时，可能连训练数据的噪音也拟合了，导致模型在训练集上效果非常好，但泛化性能却很差，这时模型便过拟合了，或者说有很大的 Variance，这时模型在不同训练集上得到的模型波动比较大， Variance 刻画了不同训练集得到的模型的输出与这些模型期望输出的差异 。
举例：

Bias反映的是模型的期望与真实值之间的误差，即模型本身的精准度，Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。
我们通过公式来直观了解一下，文字没有数学符号解释的清楚：
用图形解释方差与偏差：

举一个例子，一次打靶实验，目标是为了打到10环，但是实际上只打到了7环，那么这里面的Error就是3。具体分析打到7环的原因，可能有两方面：一是瞄准出了问题，比如实际上射击瞄准的是9环而不是10环；二是枪本身的稳定性有问题，虽然瞄准的是9环，但是只打到了7环。那么在上面一次射击实验中，Bias就是1,反应的是模型期望与真实目标的差距，而在这次试验中，由于Variance所带来的误差就是2，即虽然瞄准的是9环，但由于本身模型缺乏稳定性，造成了实际结果与模型期望之间的差距。
简单的模型会有一个较大的偏差和较小的方差，复杂的模型偏差较小方差较大。

解决欠拟合的方法： 1、增加新特征，可以考虑加入进特征组合、高次特征，来增大假设空间; 2、尝试非线性模型，比如核SVM 、决策树、DNN等模型; 3、如果有正则项可以较小正则项参数; 4、Boosting ,Boosting 往往会有较小的 Bias，比如 Gradient Boosting 等. 解决过拟合的方法： 1、交叉检验，通过交叉检验得到较优的模型参数; 2、特征选择，减少特征数或使用较少的特征组合，对于按区间离散化的特征，增大划分的区间; 3、正则化，常用的有 L1、L2 正则。而且 L1正则还可以自动进行特征选择; 4、如果有正则项则可以考虑增大正则项参数; 5、增加训练数据可以有限的避免过拟合; 6、Bagging ,将多个弱学习器Bagging 一下效果会好很多，比如随机森林等. DNN中常见的方法： 1、早停策略。本质上是交叉验证策略，选择合适的训练次数，避免训练的网络过度拟合训练数据。 2、集成学习策略。而DNN可以用Bagging的思路来正则化。首先我们要对原始的m个训练样本进行有放回随机采样，构建N组m个样本的数据集，然后分别用这N组数据集去训练我们的DNN。即采用我们的前向传播算法和反向传播算法得到N个DNN模型的W,b参数组合，最后对N个DNN模型的输出用加权平均法或者投票法决定最终输出。不过用集成学习Bagging的方法有一个问题，就是我们的DNN模型本来就比较复杂，参数很多。现在又变成了N个DNN模型，这样参数又增加了N倍，从而导致训练这样的网络要花更加多的时间和空间。因此一般N的个数不能太多，比如5-10个就可以了。 3、DropOut策略。所谓的Dropout指的是在用前向传播算法和反向传播算法训练DNN模型时，一批数据迭代时，随机的从全连接DNN网络中去掉一部分隐藏层的神经元。　在对训练集中的一批数据进行训练时，我们随机去掉一部分隐藏层的神经元，并用去掉隐藏层的神经元的网络来拟合我们的一批训练数据。使用基于dropout的正则化比基于bagging的正则化简单，这显而易见，当然天下没有免费的午餐，由于dropout会将原始数据分批迭代，因此原始数据集最好较大，否则模型可能会欠拟合。
正则化的目的是限制参数过多或者过大，避免模型更加复杂。例如，使用多项式模型，如果使用 10 阶多项式，模型可能过于复杂，容易发生过拟合。因此需要在目标函数添加一些额外的惩罚项，即正则项。添加惩罚项可看成是对损失函数中的某些参数做一些限制，根据惩罚项的不同可分为：L0范数惩罚、L1范数惩罚（参数稀疏性惩罚）、L2范数惩罚（权重衰减惩罚）。 L0范数惩罚：为了防止过拟合，我们可以将其高阶部分的权重 w 限制为 0，这样，就相当于从高阶的形式转换为低阶。为了达到这一目的，最直观的方法就是限制 w 的个数，但是这类条件属于 NP-hard 问题，求解非常困难。因此机器学习中经常使用L1、L2正则化。L1正则化项也称为Lasso，L2正则化参数也称为Ridge。 L1范数：权值向量w中各个元素的绝对值之和，L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择。 L2范数：权值向量w中各个元素的平方和然后再求平方根，L2正则化可以防止模型过拟合；一定程度上，L1也可以防止过拟合。
上面我们得到了带约束的优化问题A2，在实际的求解中，带约束的优化问题往往较难求解，大多都是转化为无约束优化问题去求解。接下来自然而然的我们采用拉格朗日乘子法将约束转化到目标函数上去，也就将约束优化问题A2转化为一个无约束的优化问题。那么这个无约束优化问题的形式是什么样的呢？这里直接先把最终的结论摆上来：
稀疏性对很多机器学习建模问题来说是非常重要的，也是非常好的一个性质。既然有很多系数等于0了，那么说明与之对应的输入是没有用了，这些输入就可以舍去，相当于起到了 降维和feature selection的作用。特殊要说明的是用L1正则化来降维和PCA降维是不同的，可以理解为L1正则化是用了数据的标签来做的，而PCA无需数据的标签。所以L1正则化实际上是带有监督学习性质的降维方法。
拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是抗扰动能力强。
λ可以控制L图形的大小，λ越小，L的图形越大（上图中的黑色方框和圆）；λ越大，L的图形越小，最后求得代价函数最值时各参数也会变得很小。从另一方面看，由公式5可以看到，λ越大，θj衰减得越快。
机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)有什么区别和联系？ 机器学习防止欠拟合、过拟合方法
【学界】有约束转无约束，拉格朗日松弛观点下的L1正则化稀疏性探讨
斯坦福机器学习课程 第三周 (4)正则化：解决过拟合问题
拉格朗日乘子法如何理解？
机器学习中正则化项L1和L2的直观理解

什么是正则化技术？

正则化技术是对模型权重施加权重限制的方式，常用的有L1和L2正则化，L1正则化可以产生稀疏解

正则化与拉普拉斯平滑

正则化 ，是一种可以改善或者减少过度拟合问题(over-fitting)的技术。 拟合： 拟合牵扯到一个泛化能力的问题，对于训练好的模型，若在训练集表现差，不必说在测试集表现同样会很差，这可能是欠拟合（under fitting）导致；若模型在训练集表现非常好，却在测试集上差强人意，则这便是过拟合（over fitting）导致的，过拟合与欠拟合也可以用 Bias（偏差） 与 Variance（方差） 的角度来解释，欠拟合会导致高 Bias ，过拟合会导致高 Variance ，所以模型需要在 Bias 与 Variance 之间做出一个权衡。
解决欠拟合的方法： 1、增加新特征，可以考虑加入进特征组合、高次特征，来增大假设空间; 2、尝试非线性模型，比如核SVM 、决策树、DNN等模型; 3、如果有正则项可以较小正则项参数; 4、Boosting ,Boosting 往往会有较小的 Bias，比如 Gradient Boosting 等.
解决过拟合的方法： 1、交叉检验，通过交叉检验得到较优的模型参数; 2、特征选择，减少特征数或使用较少的特征组合，对于按区间离散化的特征，增大划分的区间; 3、正则化，常用的有 L1、L2 正则。而且 L1正则还可以自动进行特征选择; 4、如果有正则项则可以考虑增大正则项参数; 5、增加训练数据可以有限的避免过拟合; 6、Bagging ,将多个弱学习器Bagging 一下效果会好很多，比如随机森林等.
拉普拉斯平滑 平滑 本质上讲就是希望参数每次迭代的变化不要太过于剧烈

(四)关于正则化

1.正则化的本质
什么是正则化?正则化包括正则化变量和正则化承载两个内容。它是在实际应用中体现区域化变量理论的一个技术环节。
若观测数据为Zv(x),信息点x的承载(支撑)为u[写作u(x)](例如钻探工程的岩心样品,坑道内取的矿样等)。此时,x点的观测数据Zv(x)实际上是点x所在的承载的数据,这个承载占有一定的体积,现实中它不可能是一个纯粹的点数据(纯粹的点数据只是理论上的),因此,代表点x的承载u(x)的数据(如矿石品位)Zv(x)实际上是点x承载的信息平均值。
地质统计学(空间信息统计学)基本理论与方法应用
平均值Zv(x)即为区域化变量Z(y)在承载u(x)内的正则化变量,其中u(x)称正则化承载。而Zv(x)的运算过程叫做把Z(y)在u(x)上的正则化。所以正则化就是用承载u(x)内的平均值代替原始(点)数据。正则化依赖于正则化支撑(承载)u(x)的大小,形状及方向正则化承载u(x)确定后,正则化变量Zv(x)亦是一个区域化变量,所以又称作是原区域化变量Z(y)的正则化变量。
2.正则化变量Zv(x)的性质
1)若Z(y)二阶平稳,则Z(x)同样二阶平稳。即满足Z(y)二阶平稳的两个条件:
E[Z(y)]=m(常数)
Cov(协方差函数)[Z(y),Z(y+h)]=[EZ(y),Z(y+h)]-m2=C(h)
同样是满足Zv(y)二阶平稳的条件,将Z(y)和Z(y+h)换成Zv(x)和Zv(x+h)即可。
2)若Z(y)二阶平稳,则正则化变量Zv(x)的变差函数 存在而且平稳,其协方差函数Cv(h)、方差函数Cv(0)和变差函数γv(h)之间亦满足关系式:γv(h)=Cv(0)-Cv(h)(证明从略)
3.正则化(变量的)变差函数的计算公式:
对于变差函数
地质统计学(空间信息统计学)基本理论与方法应用
我们可以把变差函数计算公式看成是用平均品位Zv(x+h)估计平均品位Zv(x)的估计方差 h),u(x+h)]}
因为点半变差函数γ(h)平稳,所以上式右边的后两项相等
地质统计学(空间信息统计学)基本理论与方法应用
式中的γh表示支撑v平移了一个向量h后形成的另一支撑。
当距离h相对于支撑v很大时(h<
<r),其平均值γ(v,vh)近似地等于点变差函数γ(h),
即γv(h)≈γ(h) (这个公式在实际工作中很有用)它们的关系如下图所示。

例如,有一个钻孔的所有岩心样品具有相同的样长l和相同的样品横截面积S,当S与l相比甚小时,可以忽略S,这样,就可以把两个岩心样品看成是具有同样长度l和相隔距离为h的两个列线线段,其正则化的变差函数式写成

地质统计学(空间信息统计学)基本理论与方法应用

见下页图。
</r),其平均值γ(v,vh)近似地等于点变差函数γ(h),

如何控制所建模型与数据之间的符合度？

控制建模与数据之间的符合度通常被称为“模型拟合度”，通常可以通过以下几种方式来实现：
可视化技术：通过可视化数据和建模结果，可以直观地评估建模的拟合效果。例如，可以绘制数据和建模结果的散点图、拟合曲线或残差图等。
统计技术：统计技术可以用于计算建模结果与数据之间的差异程度。例如，可以计算均方误差（Mean Square Error，MSE）、平均绝对误差（Mean Absolute Error，MAE）、相关系数等指标。
交叉验证技术：交叉验证是一种评估建模结果的统计技术，它将数据划分为训练集和测试集，然后使用训练集建模，使用测试集评估模型的预测能力和泛化能力。
正则化技术：正则化是一种控制模型复杂度的技术，可以避免过度拟合。通过增加正则化项，可以减小模型对训练数据的拟合程度，从而提高模型的泛化能力。
总之，选择合适的技术来控制模型与数据之间的符合度取决于具体的应用场景和数据特征。

什么是tikhonov正则化方法

定义：正则化(regularization)，是指在线性代数理论中，不适定问题通常是由一组线性代数方程定义的，而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。 另外给出一个解释性定义：对于线性方程Ax=b，当解x不存在或者解不唯一时，就是所谓的病态问题(ill-posed problem). 但是在很多时候，我们需要对病态问题求解，那怎么做？ 对于解不存在的情况，解决办法是增加一些条件找一个近似解；对于解不唯一的情况，解决办法是增加一些限制缩小解的范围。这种通过增加条件或限制要求求解病态问题的方法就是正则化方法。 正则化的英文是regularization，即规则化，调整。通过一些调整或者其他办法，使病态问题也能得到唯一解。在这个调整的过程中，使用的技术就是正则化技术，所用的方法就是正则化方法。
求解线性方程的标准方法是最小二乘法，即求解min，对于病态的线性方程，吉洪诺夫提出使用的方法，叫做吉洪诺夫矩阵

train loss不断下降 valid loss不断上升accuracy上升怎么解决？

这种情况通常表明您的模型出现了过拟合（overfitting），即在训练数据上表现很好，但在未见过的验证数据上表现不佳。以下是一些可能有助于解决这种情况的方法：
收集更多数据：收集更多的数据可能有助于提高模型的泛化能力，并减少过拟合的风险。
使用正则化技术：正则化技术可以帮助控制模型的复杂度，例如L1、L2正则化或dropout等。
调整模型的超参数：例如，减少模型的层数或减少每层中的神经元数可以减少模型的复杂性，并减少过拟合的风险。
提前停止训练：使用提前停止策略可以避免过拟合，并在验证集上的性能开始下降时停止训练。
使用集成学习：使用集成学习可以通过组合多个模型来提高泛化性能，并减少过拟合的风险。
数据增强：增加训练数据的数量和多样性可以帮助模型更好地泛化到新的数据，可以尝试通过数据增强技术来增加数据的数量和多样性。
需要根据具体情况选择最适合的方法，可能需要反复尝试和调整。

凸正则化器的作用

凸正则化器（Convex Regularizer）是一种用于机器学习中的正则化技术。它的作用是通过在模型参数空间中加入一个凸函数的约束，来限制模型参数的取值范围，从而避免模型过拟合的问题。
凸正则化器的使用可以帮助我们在训练过程中更好地控制模型的复杂度，并使得模型更加稳健。在训练时，凸正则化器会在损失函数中加入一项惩罚项，使得模型参数更加稳定，并且更容易收敛到最优解。
总的来说，凸正则化器的作用是通过对模型参数的限制，来防止模型过拟合，并使得模型更加稳健。

变量比样本量多怎么回归

是使用正则化技术。变量比样本量多使用正则化技术，可以对模型中的高度相关的自变量进行某些约束，从而减小它们对估计系数的影响，提高模型的拟合能力和预测精度。