いっかくのデータサイエンティストをいく

1からプログラミングとデータサイエンスを独習したい

理論編

【時系列】VAR(理論編)

沖本本第4章です。 VARとは VAR(ベクトル自己回帰)モデルはARモデルを多変量に拡張したものです。簡単に言うと「風が吹けば桶屋が儲かる」を実証する場合、 (桶屋の売り上げ)= (日々の平均風速)× 傾き + 切片 のような形になっているということです。…

【統計学】多重共線性

回帰分析で気を付けないといけないことの一つが多重共線性です。 多重共線性とは、説明変数のうち、相関係数の近い2変数を利用すると個々の説明変数の効果が確認できなくなる症状のことを言います。 具体例で説明しましょう。いつものサッカーの試合数で得点…

【統計学】仮説検定

統計学をやっていると避けては通れない仮説検定。私は楽しいと面白いと思ったのですが、皆さんはいかがですか? 例のごとく有斐閣「統計学」第10章SECTION1の解説です。 仮説検定とは 仮説検定とは、ある仮説が正しいか、統計学的に検証しようというものです…

【統計学】母集団と標本

よく間違える母集団と標本。有斐閣「統計学」第8章です。 母集団と標本 ある調査を行うとするとき、 * 母集団:調査対象全体のこと 標本:実際に調査する観測対象のこと であります。たとえばある化粧品の利用者へアンケートを実施した際、ある化粧品の利用…

【統計学】大数の法則と中心極限定理

今回は統計学をやっていると避けては通れない大数の法則の解説とPythonでシミュレーションをしてみました。 教科書第8章SECTION3です。 大数の法則 統計だけでなく金融・政治・社会・経済を語るうえで、大数の法則は欠かすことができません。選挙速報も保険…

【統計学】正規分布

正規分布も様々なところで議論されている。 もちろん有斐閣「統計学」でも でもこちらのほうがわかりやすい気がします。 atarimae.biz 数式で書くとこうなります。 でも図で見るとわかりやすいですね。 正規分布の応用例としては偏差値があります。 なるほど…

【統計学】いろいろな分布

有斐閣「統計学」第7章をまとめようと思ったのですが。。。 qiita.com このブログで十分やん。これ以上特にないし。ということでビジュアライズはこのサイトにお任せして。 簡単な概要だけ書きます。今回は数式は教科書に任せます。 二項分布 結果が2種類し…

【統計学】回帰分析と最小二乗法(理論編その2)

前回の続きです。今回は実際に残差平方和を最小にして傾きを求めます。 残差を最小にする 前回の復習で、残差平方和は以下のようになりました。 こちらを最小となるようにbを求めます。なお、残差二乗和を最小とするので、最小二乗法といいます。 正規方程式…

【統計学】回帰分析と最小二乗法(理論編その1)

2変数間の関係を分析する代表的な手法に単回帰分析があります。今回はその理論を考えてみたいと思います。 私は統計学の面白さにこの単回帰分析からはまったといっても過言ではないくらいです。 なお、今回は微分やらΣやらがいっぱい出てきます。読みたくな…

【統計学】相関係数(理論編)

有斐閣「統計学」2章SECTION5では共分散と3つの相関係数が紹介されています。 共分散 2変数間の散らばり具合を表します。ここでいう「散らばり」とは「散布図で点の散らばりが直線的になるか」ということです。 直線的であれば散らばりは小さく、逆に円形な…

【経済学】ローレンツ曲線とジニ係数(理論編)

有斐閣「統計学」は経済学系の書籍なので、経済学の計算が登場します。今回はローレンツ曲線とジニ係数を考えます。 出典は有斐閣「統計学」第1章SECTION6です。 ローレンツ曲線 ローレンツ曲線:所得、人口、販売高などの一定のグループへの集中の度合いを…