线性回归 - MLE

本文记录极大似然估计角度进行线性回归，得到最小二乘法结果的方法。

问题描述

考虑一个线性模型 {y}=f({\bf{x}}) 其中y是模型的输出值，是标量，\bf{x}为d维实数空间的向量

• 线性模型可以表示为:

• 线性回归的任务是利用n个训练样本：

• 和样本对应的标签：

• 来预测线性模型中的参数 \bf{\omega}，使得模型尽可能准确输出预测值

线性回归 / MLE

最小二乘法的损失函数是启发式定义来的，我们从另一个角度进行线性回归

• 我们可以认为真实模型是带有噪声的，即：

• 其中噪声分布为：

• x 是给定的, w 虽然是未知的，但是也是固定的, 所以 w^{T} x 是一个常量, 因此 y 也可以看作是一个关于随机变量 \epsilon 的函数,

• 估计y的均值:

• 方差:

• 因此y的分布可以确定:

• 接着就可以通过最大似然估计来求解\bf{w}，首先定义对数似然函数:

• 求解最优值：

• 此时得到的优化方程和最小二乘法得到的已经一样了，之后的求解过程也相同，
• 求解优化方程：

• 求导并令倒数为0：

• 得到:

参考资料

• https://zhuanlan.zhihu.com/p/86009986