【統計学】回帰分析と最小二乗法（理論編その2）

前回の続きです。今回は実際に残差平方和を最小にして傾きを求めます。

残差を最小にする

前回の復習で、残差平方和は以下のようになりました。

こちらを最小となるようにbを求めます。なお、残差二乗和を最小とするので、最小二乗法といいます。

正規方程式

残差二乗和を最小とするためには2乗してそれが０になればOKです。 まずaを偏微分すると

次にbを偏微分すると

算出された（１）（２）の式を正規方程式といいます。

回帰係数の導出

（１）式の両辺をnで割ります。

ここで、

となり、とそれぞれの平均となります。 つまり

これを（２）に代入します。

これで一応導出できました。

回帰係数を式変形してみる

上の回帰係数の式を変形すると

となり、

というきれいな形になっています。

最小二乗回帰式の性質

• ｘ、ｙの平均(, )を通ります。
• 残差と合計は0です。
• 残差と説明変数の積は０です
• 説明変数と残差は直交しています。

次回は回帰分析の結果を見るための理論です。