最小二乗法（６）

最小二乗法（５）からの続き

実験データを$y = a x + b$にフィットする場合，最小二乗法で$(a,\  b)$とその平均二乗誤差$(\sigma_a^2,\ \sigma_b^2)$を求めてきた。これを，$y = f(x) = a x^2 + b x + c\ $に拡張して，自由度3が登場するかどうかを確認してみる。吉澤康和さんの「新しい誤差論」には結果だけ書いてある。

(1) a, b, c を決定する正規方程式とその解

$ \begin{pmatrix}\overline{x^4} & \overline{x^3} & \overline{x^2} \\ \overline{x^3} & \overline{x^2} & \overline{x^1} \\ \overline{x^2} & \overline{x} & 1 \\ \end{pmatrix} \begin{pmatrix} a \\ b \\ c \\ \end{pmatrix}= \begin{pmatrix}\overline{x^2\ y}\\ \overline{x\ y} \\ \overline{y} \\ \end{pmatrix}$ 

$ \begin{pmatrix} a \\ b \\ c \\ \end{pmatrix}= \dfrac{1}{\Delta_3} \begin{pmatrix}\overline{x^2\ y}(\overline{x^2}-\overline{x}^2)+\overline{x\ y}(\overline{x^2}\overline{x}-\overline{x^3})+\overline{y}(\overline{x^3}\overline{x}-\overline{x^2}^2)  \\ \overline{x^2\ y}(\overline{x^2}\overline{x}-\overline{x^3}) + \overline{x\ y}(\overline{x^4}-\overline{x^2}^2) + \overline{y}(\overline{x^3}\overline{x^2}-\overline{x^4}\overline{x}) \\ \overline{x^2\ y}(\overline{x^3}\overline{x}-\overline{x^2}^2) + \overline{x\ y}(\overline{x^3}\overline{x^2}-\overline{x^4}\overline{x}) +\overline{y}(\overline{x^4}\overline{x^2}-\overline{x^3}^2) \\ \end{pmatrix}$ 

ただし，$\Delta_3 = \overline{x^4}\overline{x^2}+2\overline{x^3}\overline{x^2}\overline{x}-\overline{x^2}^3-\overline{x^3}^2-\overline{x^4}\overline{x}^2$

$y_i$を共通の平均二乗誤差$\sigma^2_y$を持つ独立変数として，誤差伝播の法則より，

$\displaystyle \sigma_a^2= \sum_{i=1}^n \Bigl( \frac{\partial a}{\partial y_i}\Bigr) ^2 \sigma_y^2, \quad \sigma_b^2= \sum_{i=1}^n \Bigl( \frac{\partial b}{\partial y_i}\Bigr) ^2 \sigma_y^2 , \quad \sigma_c^2= \sum_{i=1}^n \Bigl( \frac{\partial c}{\partial y_i}\Bigr) ^2 \sigma_y^2 $ 

さらに，真の値$f_0(x_i)=a_0 x_i^2 + b_0 x_i + c_0$に対して，$\varepsilon_i = y_i -f(x_i)+ f(x_i) -f_0(x_i) =  \delta_i + f(x_i) -f_0(x_i) $ として，$\displaystyle \sigma_y^2 = \frac{1}{n} \sum_{i=1}^n \varepsilon_i^2 = \frac{1}{n} \sum_{i=1}^n \Bigl\{ \delta_i^2 + \tilde{\sigma}^2_{f(x_i)} \Bigr\}$

ところで，$\displaystyle \tilde{\sigma}^2_{f(x_i)} = \sum_{j=1}^n \Bigl\{ \frac{\partial(a x_i^2 + b x_i + c)}{\partial y_j}\Bigr\}^2$ であり，この項を再度  $\sigma_y^2$ で表してもとの式に戻して計算すれば良い。

つまり，$\displaystyle \frac{\partial a}{\partial y_j}, \  \frac{\partial b}{\partial y_j},\  \frac{\partial c}{\partial y_j}$が計算できればよいことになる。

$\displaystyle \frac{\partial a}{\partial y_j}=\frac{1}{n \Delta_3}\Bigl\{ x_j^2 (\overline{x^2}-\overline{x}^2)+ x_j(\overline{x^2}\overline{x}-\overline{x^3})+(\overline{x^3}\overline{x}-\overline{x^2}^2) \Bigr\}$

$\displaystyle \frac{\partial b}{\partial y_j}=\frac{1}{n \Delta_3}\Bigl\{ x_j^2 (\overline{x^2}\overline{x}-\overline{x^3}) + x_j (\overline{x^4}-\overline{x^2}^2) + (\overline{x^3}\overline{x^2}-\overline{x^4}\overline{x}) \Bigr\}$

$\displaystyle \frac{\partial c}{\partial y_j}=\frac{1}{n \Delta_3}\Bigl\{ x_j^2 (\overline{x^3}\overline{x}-\overline{x^2}^2) + x_j (\overline{x^3}\overline{x^2}-\overline{x^4}\overline{x}) +(\overline{x^4}\overline{x^2}-\overline{x^3}^2) \Bigr\}$

Mathematicaの力を借りると，計算結果が因数分解できて分子から$\Delta_3$が出る。

$\displaystyle \sigma_a^2 = \sum_{j=1}^n \Bigl( \frac{\partial a}{\partial y_j}\Bigr) ^2 = \frac{1}{n \Delta_3} \bigl( \overline{x^2} -\overline{x}^2 \bigr) \sigma_y^2$

$\displaystyle \sigma_b^2 = \sum_{j=1}^n \Bigl( \frac{\partial b}{\partial y_j}\Bigr) ^2 = \frac{1}{n \Delta_3} \bigl( \overline{x^4} - \overline{x^2}^2 \bigr) \sigma_y^2$

$\displaystyle \sigma_c^2 = \sum_{j=1}^n \Bigl( \frac{\partial c}{\partial y_j}\Bigr) ^2 = \frac{1}{n \Delta_3} \bigl( \overline{x^4} \overline{x^2}-\overline{x^3}^2  \bigr) \sigma_y^2$

$\displaystyle \sum_{j=1}^n \Bigl( \frac{\partial a}{\partial y_j}\frac{\partial b}{\partial y_j}\Bigr)  = \frac{1}{n \Delta_3} \bigl( \overline{x}\overline{x^2} -\overline{x^3} \bigr) \sigma_y^2$

$\displaystyle \sum_{j=1}^n \Bigl( \frac{\partial b}{\partial y_j}\frac{\partial c}{\partial y_j}\Bigr)  = \frac{1}{n \Delta_3} \bigl( \overline{x^2}\overline{x^3} - \overline{x}\overline{x^4} \bigr) \sigma_y^2$

$\displaystyle \sum_{j=1}^n \Bigl( \frac{\partial c}{\partial y_j}\frac{\partial a}{\partial y_j}\Bigr)  = \frac{1}{n \Delta_3} \bigl( \overline{x^4} \overline{x^2}-\overline{x^3}^2  \bigr) \sigma_y^2$

このとき

$\displaystyle \tilde{\sigma}^2_{f(x_i)}= \sum_{j=1}^n \Bigl\{ \frac{\partial a}{\partial y_i} x_i^2 + \frac{\partial b}{\partial y_j} x_i + \frac{\partial c}{\partial y_j} \Bigr\} ^2 = \frac{\sigma_y^2}{n \Delta_3} $

$\Bigl\{\bigl( \overline{x^2}-\overline{x}^2 \bigr) x_i^4 + 2 \bigl( \overline{x}\overline{x^3} -\overline{x^3} \bigr) x_i^3 + \bigl( \overline{x^4}-\overline{x^2}^2 + 2( \overline{x^3}\overline{x} - \overline{x^2}^2) \bigr) x_i^2 $

$+ 2\bigl( \overline{x^2}\overline{x^3} - \overline{x} \overline{x^4} \bigr) x_i + \bigl( \overline{x^2}\overline{x^4}-\overline{x^3}^2 \bigr)  \Bigr\}$

$x_i$について平均操作するとMathematicaを使い分子から$\Delta_3$が出ると。

$\displaystyle \frac{1}{n}\sum_{i=1}^n  \tilde{\sigma}^2_{f(x_i)} = \frac{\sigma_y^2}{n \Delta_3}$

$\Bigl\{\bigl( \overline{x^2}-\overline{x}^2 \bigr) \overline{x^4}+ 2 \bigl( \overline{x}\overline{x^3} -\overline{x^3} \bigr) \overline{x^3} + \bigl( \overline{x^4}-\overline{x^2}^2 + 2( \overline{x^3}\overline{x} - \overline{x^2}^2) \bigr) \overline{x^2} $

$\displaystyle + 2\bigl( \overline{x^2}\overline{x^3} - \overline{x} \overline{x^4} \bigr) \overline{x}+ \bigl( \overline{x^2}\overline{x^4}-\overline{x^3}^2 \bigr)  \Bigr\} = \frac{3}{n} \sigma_y^2$

したがって，自由度n-3の場合の式が得られた。

$\displaystyle \sigma_y^2 = \frac{1}{n} \sum_{i=1}^n \Bigl\{ \delta_i^2 + \tilde{\sigma}^2_{f(x_i)} \Bigr\} =  \frac{1}{n} \sum_{i=1}^n  \delta_i^2 + \frac{3}{n} \sigma_y^2$

$\displaystyle \therefore \sigma_y^2 = \frac{1}{n-3} \sum_{i=1}^n \delta_i^2$