最小二乗法（５）

最小二乗法（４）からの続き

完全にスッキリしなくて何だか気持ち悪いのだけれど，いきなり自由度がとかいわれて$n-2$が出てくるのがいやなので，吉澤さんの本に従って話を進めてみる。

$\displaystyle \tilde{\sigma^2}_{y(x_i)} =  \frac{1}{n}\sum_{i=i}^n  \tilde{\varepsilon_i}^2 = \frac{1}{n}\sum_{i=i}^n  \Bigl\{ a x_i + b - a_0 x_i - b_0  \Bigr\}^2$

これから，$f(x_i) = y(x_i) =  a  \bm{x_i} + b$として，独立変数$y_j$について，

$\displaystyle \tilde{\sigma^2}_{y(x_i)} =  \sigma_y^2 \sum_{j=i}^n  \Bigl\{ \frac{\partial a}{\partial y_j}\bm{x_i} + \frac{\partial b}{\partial y_j} \Bigr\}^2 = \frac{\sigma_y^2}{n^2 \Delta^2} \sum_{j=i}^n  \Bigl\{ (x_j-\overline{x}) \bm{x_i} + ( \overline{x^2} -\overline{x} x_j ) \Bigr\}^2$

$\displaystyle = \frac{\sigma_y^2}{n^2 \Delta^2} \sum_{j=i}^n  \Bigl\{ ( \bm{x_i}-\overline{x} ) x_j + ( \overline{x^2} - \overline{x}  \bm{x_i} ) \Bigr\}^2$

$\displaystyle = \frac{\sigma_y^2}{n \Delta^2}  \Bigl\{ \overline{x^2} ( \bm{x_i}-\overline{x} )^2 + 2 \overline{x} (\bm{x_i} - \overline{x})(\overline{x^2} -\overline{x} \bm{x_i}) + ( \overline{x^2} - \overline{x}  \bm{x_i} )^2  \Bigr\}$

$\displaystyle = \frac{\sigma_y^2}{n \Delta^2}  \Bigl\{ \bm{x_i}^2 ( \overline{x^2} - \overline{x}^2) + 2 \bm{x_i} (\overline{x}^3 - \overline{x^2} \overline{x}) + ( \overline{x^2}^2 - \overline{x^2} \overline{x}^2 )  \Bigr\}$

$\displaystyle = \frac{\sigma_y^2}{n \Delta}  \Bigl\{ \bm{x_i}^2  - 2 \bm{x_i} \overline{x} + \overline{x^2}  \Bigr\}$

添え字 $i$について平均すると，$\displaystyle \frac{1}{n}\sum_{i=1}^n \tilde{\sigma^2}_{y(x_i)} =\frac{\sigma_y^2}{n \Delta}\Bigl\{ \overline{x^2}  - 2 \overline{x} \overline{x} + \overline{x^2}  \Bigr\} =  \frac{2 \sigma_y^2}{n}$

そこで，

$\displaystyle \sigma_y^2 =\frac{1}{n}\sum_{i=1}^n \Bigl\{ \delta_i^2 + \tilde{\varepsilon_i}^2 \Bigr\} = \frac{1}{n}\sum_{i=i}^n \delta_i^2 + \tilde{\sigma^2}_{y(x_i)} = \frac{1}{n} \sum_{i=1}^n \delta_i^2 + \frac{2 \sigma_y^2}{n}$

$\displaystyle \therefore \sigma_y^2 = \frac{1}{n-2}\sum_{i=1}^n \delta_i^2 = \frac{1}{n-2}\sum_{i=1}^n (y_i - a x_i -b )^2$