转载请注明出处:http://www.codelast.com/

 

         在做数据建模或者曲线拟合的时候,我们通常会用到最小二乘法。假设作为数学模型的函数为 y = f(x,S) ,其中 S 为参数集向量(即一系列的参数), x 为自变量。在这种情况下,为了求出 S ,需要对下式进行极小化:

       即:对已知的一个数据集 {x_i}(i = 1,2, \cdots ,n) ,能极小化该式的 S 就是最优参数。但是这个式子是怎么来的呢?

它是从最大似然估计方法得到的:对参数 S ,能使已知数据集发生的概率越大,那么就说明我们取的 S 越优良。注意,对于一组已知的数据集,参数 S 几乎不可能使每个 {x_i} 都满足我们假设的数学模型,因此这里所说的“使已知数据集发生的概率越大”,这个“发生”,是指 {y_i} \in \left[ {f({x_i},S) - \delta ,f({x_i},S) + \delta } \right] ,其中δ为允许的误差。

假设所有数据点的测量误差独立、符合正态分布,且标准差相等,则每一个数据点发生的概率为:

整个数据集同时发生的概率为各数据点概率之积:

文章来源:http://www.codelast.com/

     如前文所述:对参数 S ,能使已知数据集发生的概率越大,那么就说明我们取的 S 越优良。因此,使上式最大化就是我们的目标。由于 \delta 为正常数, f(x) = {e^x} 为单调递增函数,因此,想要:

就等于:

文章来源:http://www.codelast.com/

       等同于:

       继续化简:

       相当于:

文章来源:http://www.codelast.com/

       现在,由于 \sigma 是常数,上式就等同于:

       这就得到了我们要推导的结论。

NULL

[原创]最小二乘的理论依据
Tagged on:                                 

发表评论

电子邮件地址不会被公开。 必填项已用*标注