沖本本第２章のお話です。 有斐閣「統計学」の第12章にも載っています。 さらに今回はこちらも参考にいたしました。 はじめに 正直このあたりから少しずつ難しくなってくるころだと思います。 最初読んだときはほとんど意味がわかりませんでした。 今回は要…

自己相関だけです。あとはわからなかった・・・。 自己相関 import pandas as pd import numpy as np from numpy.random import * import matplotlib.pyplot as plt import statsmodels.api as sm #データの読込 data = pd.read_csv("C:\\Users\\imoto-mk\\D…

前回の実装です。自己共分散と自己相関の実装となります。 Rで実装 データは1994年から2017年の名目GDPです。 #データ読込 df <- read.csv("C:\\Users\\imoto-mk\\Documents\\meimoku_GDP.csv") df # Year GDP #1 1994 502636.2 #2 1995 516406.5 #3 1996 52…

沖本本P6の内容です。 森棟本有斐閣「統計学」第12章でも扱われております。 自己共分散 自己共分散は、同一の時系列データの別の２時点のデータ間の共分散のことです。 １期間離れたデータを１次のデータとすると、１次の共分散は となります。 自己共分散…

回帰分析で気を付けないといけないことの一つが多重共線性です。 多重共線性とは、説明変数のうち、相関係数の近い2変数を利用すると個々の説明変数の効果が確認できなくなる症状のことを言います。 具体例で説明しましょう。いつものサッカーの試合数で得点…

有斐閣「統計学」第11章SECTION５になります。この本もそろそろ終わりに近づいてきました。 ダミー変数とは 男と女、花が咲いた・咲かなかった、上位100位とそれ以外など、2つのグループに分けることのできるものがあります。それを回帰分析の説明変数に入れ…

文字通り相関係数に差があるかどうかの検定です。 帰無仮説は相関係数をρとするとρ＝０、対立仮説はρ≠0となります。 つまり2群に直線的な関係性があるかどうか確かめる検定ということになります。 データは教科書有斐閣「統計学」P60のJリーグの表です。 Rで…

平均の差の検定。ある2群の標本が独立（つまり別の集団からのサンプリング）か、同じ母集団なのか（つまり母平均が等しい）か確かめるための検定です。 データはおなじみの上記書籍のP60にあるJリーグの試合結果のデータを使用します。 Rで実装 #勝数 wins <…

教科書有斐閣「統計学」P60のJリーグの表をもとに、同書P327の分散の検定を行います。 単純に2群の分散が同じかどうか確かめる検定です。平均の検定でも帰無仮説を棄却できず、分散の検定でも帰無仮説を棄却できない場合は同じ分布の可能性があります。 Rで…

ベルヌーイ試行の成功確率についての検定を行います。ベルヌーイ試行とはコインの表と裏のように二者択一の問題です。 例を考えたほうがわかりやすいので、有斐閣「統計学」P322の例題10.2をそのまま実装してみます。 例題 新たにF内閣が発足し、支持率の調…

統計学をやっていると避けては通れない仮説検定。私は楽しいと面白いと思ったのですが、皆さんはいかがですか？ 例のごとく有斐閣「統計学」第10章SECTION1の解説です。 仮説検定とは 仮説検定とは、ある仮説が正しいか、統計学的に検証しようというものです…

教科書第10章になります。 母平均に関する検定です。母平均が既知で、標本平均が母集団の平均と重なるかどうか検定します。 Rで実装 t.testで簡単にできます。 詳しいパラメータはこちら。 データ解析・マイニングとR言語 今回は教科書P320 の例題10.1(1)(2)…

教科書有斐閣「統計学」第9章SECTION４の内容です。 尤度関数。正直苦手です。 ですので間違えている可能性も大なので炎上マーケ大歓迎です。 最尤推定法とは 自分で説明するよりも下のサイトのほうがはるかにわかりやすいです。 mathtrain.jp 下の実装もこ…

下の教科書第9章に当たります。 区間推定とは 国勢調査など一部を除き、ふつうはアンケートや視聴率など母集団のうちの一部から母数を推定します。しかしサンプルサイズが十分でない場合、推定量が偏っている場合もあります。そこで、真の母数の入っていそう…

よく間違える母集団と標本。有斐閣「統計学」第8章です。 母集団と標本 ある調査を行うとするとき、 * 母集団：調査対象全体のこと 標本：実際に調査する観測対象のこと であります。たとえばある化粧品の利用者へアンケートを実施した際、ある化粧品の利用…

今回は統計学をやっていると避けては通れない大数の法則の解説とPythonでシミュレーションをしてみました。 教科書第8章SECTION３です。 大数の法則 統計だけでなく金融・政治・社会・経済を語るうえで、大数の法則は欠かすことができません。選挙速報も保険…

正規分布も様々なところで議論されている。 もちろん有斐閣「統計学」でも でもこちらのほうがわかりやすい気がします。 atarimae.biz 数式で書くとこうなります。 でも図で見るとわかりやすいですね。 正規分布の応用例としては偏差値があります。 なるほど…

有斐閣「統計学」第7章をまとめようと思ったのですが。。。 qiita.com このブログで十分やん。これ以上特にないし。ということでビジュアライズはこのサイトにお任せして。 簡単な概要だけ書きます。今回は数式は教科書に任せます。 二項分布 結果が2種類し…

高校数学Aでおなじみの場合の数。下記教科書では5章に簡単に説明されています。 Rで実装 #階乗 #5! factorial(5) #[1] 120 #順列 #8個から3つ並べる方法 n <- 8 r <- 3 prod((n-r+1):n) #[1] 336 #3つのものを並べる方法一覧 #install.packages("e1071") lib…

ベイズ統計学でおなじみのベイズの公式。 ちょうど教科書にも載っていたので復習としてまとめてみました。 ただ、私はこの分野があまり強くないので間違いがあればドンドン指摘いただけると幸いです。 条件付き確率 教科書的には事象Aが生じたもとで事象Bが…

今回はPythonで単回帰分析です。調べてみるといろいろやり方があるようです。 データはおなじみの上記書籍のP60にあるJリーグの試合結果のデータを使用します。 statsmodelで単回帰分析 こちらは回帰分析の結果の要約が出ます。 wcs.hatenablog.com import p…

前回、前々回と回帰分析の理論とくに回帰係数の求め方について説明しました。 今回は実際に回帰分析を行う際に特に注目する指標を簡単に説明します。 決定係数 求めた回帰式が実際の観測値どれくらい説明できたか示す指標です。 決定係数は０から1の間の値を…

3回にわたって解説してきました回帰分析をRで実装してみたと思います。 有斐閣「統計学」3章です。 Rで実装 Rではlm関数で回帰分析を行えます。lm関数を適当な変数に入れ、入れた変数をsummary()に入れると詳しい結果がでます。 #データ：教科書P60 Jリーグ…

前回の続きです。今回は実際に残差平方和を最小にして傾きを求めます。 残差を最小にする 前回の復習で、残差平方和は以下のようになりました。 こちらを最小となるようにbを求めます。なお、残差二乗和を最小とするので、最小二乗法といいます。 正規方程式…

2変数間の関係を分析する代表的な手法に単回帰分析があります。今回はその理論を考えてみたいと思います。 私は統計学の面白さにこの単回帰分析からはまったといっても過言ではないくらいです。 なお、今回は微分やらΣやらがいっぱい出てきます。読みたくな…

前回解説いたしました相関係数を今度はPythonで実装してみたいと思います。 共分散 データ 散布図でも使用しました上記書籍のP60にあるJリーグの試合結果のデータを使用します。 #勝数 wins = [22, 20, 20, 18, 17, 18, 13, 13, 13, 13, 13, 13, 13, 12, 12,…

前回解説いたしました相関係数をRで実装してみたいと思います。 共分散 データ 散布図でも使用しました上記書籍のP60にあるJリーグの試合結果のデータを使用します。 #勝数 wins <- c(22, 20, 20, 18, 17, 18, 13, 13, 13, 13, 13, 13, 13, 12, 12, 5, 6, 4)…

有斐閣「統計学」2章SECTION５では共分散と3つの相関係数が紹介されています。 共分散 2変数間の散らばり具合を表します。ここでいう「散らばり」とは「散布図で点の散らばりが直線的になるか」ということです。 直線的であれば散らばりは小さく、逆に円形な…

前々回のローレンツ曲線とジニ係数をPythonで実装します。 前回の関数をもとにPythonでも関数を実装してみました。 import numpy as np import matplotlib.pyplot as plt #関数 def Gini_index(data, main, xlab, ylab): print(data) n = len(data) #dataの…

有斐閣「統計学」は経済学系の書籍なので、経済学の計算が登場します。今回はローレンツ曲線とジニ係数を考えます。 出典は有斐閣「統計学」第1章SECTION6です。 ローレンツ曲線 ローレンツ曲線：所得、人口、販売高などの一定のグループへの集中の度合いを…