コーシー＝シュワルツの不等式

最小二乗法（６）からの続き

数理統計学を真面目に勉強してこなかったのでいろいろ不都合が生じている。統計的因果推論とか深層機械学習とか量子測定理論とか，簡単に読み砕けない資料がたくさんたまる。

授業で扱った最小二乗法と実験誤差の話を整理しようとしても，背景には数理統計学が控えている。昔，阪大の南園グループによるベータ崩壊の実験と我々の理論を突き合わせたときに，χスクェアフィットの計算を散々繰り返したけれど，所与の公式を使うだけであってその理論的根拠をつきつめて考えたはしなかった。

そこで最初から勉強を始めようとすると，いきなり確率変数でつまづくのだった。コンピュータプログラムのサブルーチンや関数のようなものだと思えば納得できるといえばいえるのだけれど，自然言語と数学的記号を使って理解しようとするとなかなかその本質がつかみきれない。入門書は沢山あるけれど，どれも何だか気持ち悪い。

竹村彰道（1952-）さんの現代数理統計学の本（旧版）が手元にあって，読みやすいかなとページをめくってみると，記述統計の復習から始まった。これなら大丈夫かと思いきや，いきなり，標本相関関数の大きさが -1から 1の範囲に限定されることは，コーシー=シュワルツの不等式を用いて容易に示すことができると説明無しにあった。

n次元ユークリッド空間のベクトルの内積の話だと思えばそのとおりなのだけれど，証明したことはなかったかも。Wikipediaでは数学的帰納法で証明していた。$A_k=(a_1,\ a_2,\ \cdots,\ a_k),\ B_k=(b_1,\ b_2,\ \cdots,\ b_k),\ $として，$\displaystyle S^{aa}_k=\sum_{i=1}^k a_i^2,\ S^{bb}_k=\sum_{i=1}^k b_i^2,\ S^{ab}_k=\sum_{i=1}^k a_i b_i, \quad R^{ab}_k=\frac{S^{ab}_k}{\sqrt{S^{aa}_k S^{bb}_k}}$

つまり，$\bigl( S^{ab}_k \bigr)^2  \le S^{aa}_k S^{bb}_k$を証明すれば良い。

$k=1$の場合は，$\bigl( S^{ab}_1 \bigr)^2 -  S^{aa}_1 S^{bb}_1 = (a_1 b_1)^2- (a_1^2)(b_1^2) = 0$

$k=2$の場合は，$\bigl( S^{ab}_2 \bigr)^2 -  S^{aa}_2 S^{bb}_2 = (a_1 b_1+a_2 b_2)^2- (a_1^2+a_2^2)(b_1^2+b_2^2) =  -(a_1 b_2- a_2 b_1)^2  < 0$

$k \ge 2$に対して，$\bigl( S^{ab}_k \bigr)^2  \le S^{aa}_k S^{bb}_k$ が成り立つと仮定して，$k+1$の場合を考える。与式は，$\bigl( S^{ab}_k + a_{k+1}b_{k+1} \bigr)^2 - \bigl( S^{aa}_k + a_{k+1}^2 \bigr) \bigl(  S^{bb}_k + b_{k+1}^2 \bigr)$

$= \bigl( S^{ab}_k  \bigr)^2 - S^{aa}_k S^{bb}_k - \Bigl( a_{k+1}^2 S^{bb}_k + b_{k+1}^2 S^{aa}_k -2 a_{k+1}b_{k+1} S^{ab}_k \Bigr)$

$= \bigl( S^{ab}_k  \bigr)^2 - S^{aa}_k S^{bb}_k - \sum_{i=1}^k \Bigl( a_{k+1}^2 b_i^2 + b_{k+1}^2 a_i^2 -2 a_{k+1}b_{k+1} a_i b_i \Bigr)$

$=\bigl( S^{ab}_k  \bigr)^2 - S^{aa}_k S^{bb}_k - \sum_{i=1}^k \Bigl( a_{k+1} b_i - b_{k+1} a_i \Bigr)^2 < 0$

Wikipediaの証明などでは，$a_i, b_i >0$の場合だけに妥当するものが多いのでちょっと困る。

まあ，$\displaystyle f_k(x) = \sum_{i=1}^k (a_i x - b_i)^2$ の判別式$D \le 0$から証明するのが最も簡単なのだけど。

［１］賢者に学ぶ統計学の智（西内啓×竹村彰通，ダイヤモンド社）