训练线性回归模型_工作流管理_工作流软件_深圳市和丰软件技术有限公司【知名】

13544009511
我们做过什么

训练线性回归模型

发布日期:2021-01-10 浏览次数:

那么我们如何训练线性回归模型呢?这个过程类似于大多数机器学习模型所使用的过程。假设我们有一套训练集,任务是在不影响模型对新示例预测能力的情况下,尽可能紧密地对这种关系进行建模。为此,我们定义一个损失或目标函数输入真实输出y和预测输出,并测量了给定x时模型在预测y时的“好坏程度”。我们使用下标w来表示J的输出取决于模型的权重w,并通过预测y对其进行参数化,即使这些权重值未明确显示在函数的计算中。线性回归通常使用均方误差(MSE)损失函数,定义为:

然后,我们可以使用多种技术之一来优化此损失函数。我们可以使用例如梯度下降法,它是训练神经网络的实际标准,但是对于线性回归来说不是必要的。因为我们其实可以直接解决优化问题,以便找到权重的最佳值w*。

由于我们想要针对w优化此设置,对w取梯度,将结果设置为0,然后求解w的最优设置w*。我们有

现在我们将梯度设置为0并求解w

这是w的最优设置,将为模型提供最佳结果。你可以看到,它仅使用X和y的乘积来计算。然而,它需要的矩阵求逆,当X非常大或条件不佳时,这在计算上会很困难。在这些情况下,你可以使用不精确的优化方法如梯度下降法或不实际计算矩阵逆的近似技术。

粤公网安备 44030502004911号