线性回归最常用的变形可能是那些涉及加法正则_工作流管理_工作流软件_深圳市和丰软件技术有限公司【知名】

13544009511
我们做过什么

线性回归最常用的变形可能是那些涉及加法正则

发布日期:2021-01-10 浏览次数:

线性回归最常用的变形可能是那些涉及加法正则化的模型。正则化是指对绝对值较大的模型权重进行惩罚的过程。通常这是通过计算一些权重的范数作为附加在成本函数上的惩罚项来完成的。

正则化的目的通常是为了减轻过度拟合的可能性,过度拟合是模型过于紧密地复制其训练数据中基础关系的趋势,无法将其很好地推广到未知示例中。线性回归模型的正则化有两种基本类型:L1和L2。

采用L1正则化的回归模型可以执行Lasso回归。L1规范定义为:

相反,L2正则化将权重向量w的L2范数作为惩罚项添加到目标函数中。  L2规范定义为:

采用L2正则化的回归模型被称为执行Ridge回归(岭回归)。

那么,这些正则化惩罚如何定性地影响模型的结果(输出)的呢?结果表明,L2正则化产生的权重系数很小,但很分散。也就是说,它倾向于生成其中每个系数相对较小并且幅度相对相似的模型。

相比之下,L1正则化在惩罚系数的方式上更加具体。其中某些系数往往受到严重的惩罚,趋向于0的值,而有些则保持相对不变。L1正则化产生的权值通常被认为是稀疏的。

因此,也有人认为,L1正则化实际上执行了一种软特征选择,即选择对产生期望结果最重要的特征(数据中的分量)。通过将某些权重设为0,该模型表明这些变量实际上对其作用并没有特别的帮助或解释作用。

粤公网安备 44030502004911号