いっかくのデータサイエンティストをいく

1からプログラミングとデータサイエンスを独習したい

統計学

【時系列】GARCHモデル(R)

今回はRで実装します。 今回はこちらのサイトを写経します。 ドル円のボラティリティをGARCHで推定 – Momentum データ まず、データはFRED先生からドル円レートを落としてきて使います。 Japan / U.S. Foreign Exchange Rate | FRED | St. Louis Fed Rで実装…

【時系列】GARCHモデル(理論編)

沖本本7章から。 はじめに ファイナンスの世界では標準偏差のことをボラティリティとよび、重要視されています。それは分散が「最大でどれくらい損益があるか」を示していsるからです。今回はボラティリティ変動モデルです。リスクの大きさをモデリングして…

【時系列】共和分

沖本本5章から。 共和分 単位根の持つデータ同士で回帰分析した場合、見せかけの回帰になってしまうことが多いです。もうあきらめるしかないのか。。。 そんなことはありません!見せかけではない場合があります! それは共和分を持っているときです。 共和…

【時系列】差分系列と単位根検定

沖本本5章から。 差分系列 非定常なデータは時間によって期待値が変化するため予測ができません。 しかし、非定常なデータでも差分をとることによって定常になることがあります。これを差分系列と呼びます。差分をとることはよくやることで一見分析ができな…

【時系列】ホワイトノイズとランダムウォークの違いを考えてみる

ふとホワイトノイズのランダムウォークってどう違うんだろう?と考えてみたのでこの2つをまとめてみます ホワイトノイズ ホワイトノイズは となり弱定常性となります。 ランダムウォーク 時刻nにおける価格p(n)を、 p(n)=p(n−1)+d(n) のように1サンプル前の…

【時系列】VAR(インパルス応答)

沖本本4章3から。 インパルス応答とは ある変数にインパクトを与えると、その影響がどれくらい続くのかをインパルス応答といいます。消費が急に増えると収入にどんな影響があるのかを定量的に評価できます。 そして「時間遅れ(タイムラグ)」の向きを見るこ…

【時系列】VAR(グレンジャーの因果性検定)

沖本本4章3から。 グランジャーの因果性 現在と過去のxの値だけに基づいた将来のxの予測と、現在と過去のxとyの値に基づいた将来のxの予測を比較して、後者のMSE(残渣平方和)の方が小さくなる場合、ytからxtへのグレンジャー因果性(Granger causality)が存…

【時系列】VAR(R:予測)

前回の記事の推計結果に基づいて予測をしてみましょう。 予測にはpredict関数を用います。 yosoku <- predict(Canada.var , n.ahead = 8 #8期先まで予測 , ci = 0.95 #95%信頼区間 , dumvar = NULL) kekka <- ts(yosoku$fcst$e[,1], start=1999, frequency=4…

【時系列】VAR(R:モデル作成)

前回の記事でVARの理論を紹介しましたが、今回はVARをRで実装してみたいと思います。 今回はこちらのサイトとほぼ同じことをやります。 tjo.hatenablog.com logics-of-blue.com パッケージと分析手順 RでVARモデルを実装する場合、{vars}というパッケージを…

【時系列】VAR(理論編)

沖本本第4章です。 VARとは VAR(ベクトル自己回帰)モデルはARモデルを多変量に拡張したものです。簡単に言うと「風が吹けば桶屋が儲かる」を実証する場合、 (桶屋の売り上げ)= (日々の平均風速)× 傾き + 切片 のような形になっているということです。…

【時系列】MA・AR・ARMA(理論編とR)

沖本本第2章のお話です。 有斐閣「統計学」の第12章にも載っています。 さらに今回はこちらも参考にいたしました。 はじめに 正直このあたりから少しずつ難しくなってくるころだと思います。 最初読んだときはほとんど意味がわかりませんでした。 今回は要…

【時系列】自己相関(Python)

自己相関だけです。あとはわからなかった・・・。 自己相関 import pandas as pd import numpy as np from numpy.random import * import matplotlib.pyplot as plt import statsmodels.api as sm #データの読込 data = pd.read_csv("C:\\Users\\imoto-mk\\D…

【時系列】自己共分散と自己相関(R)

前回の実装です。自己共分散と自己相関の実装となります。 Rで実装 データは1994年から2017年の名目GDPです。 #データ読込 df <- read.csv("C:\\Users\\imoto-mk\\Documents\\meimoku_GDP.csv") df # Year GDP #1 1994 502636.2 #2 1995 516406.5 #3 1996 52…

【時系列】時系列の基本統計量(理論編)

沖本本P6の内容です。 森棟本有斐閣「統計学」第12章でも扱われております。 自己共分散 自己共分散は、同一の時系列データの別の2時点のデータ間の共分散のことです。 1期間離れたデータを1次のデータとすると、1次の共分散は となります。 自己共分散…

【時系列】時系列分析の基礎概念と定常性・ホワイトノイズ

今日から通称沖本本で時系列分析をやっていきたいと思います。 時系列は森棟本有斐閣「統計学」第12章でも扱われております。 今回は第1章「時系列分析の基礎概念」の実装以外の概念をやりたいと思います。 ブログは数式を描くと読者が減るといわれているら…

【統計学】多重共線性

回帰分析で気を付けないといけないことの一つが多重共線性です。 多重共線性とは、説明変数のうち、相関係数の近い2変数を利用すると個々の説明変数の効果が確認できなくなる症状のことを言います。 具体例で説明しましょう。いつものサッカーの試合数で得点…

【統計学】ダミー変数(RとPython)

有斐閣「統計学」第11章SECTION5になります。この本もそろそろ終わりに近づいてきました。 ダミー変数とは 男と女、花が咲いた・咲かなかった、上位100位とそれ以外など、2つのグループに分けることのできるものがあります。それを回帰分析の説明変数に入れ…

【統計学】相関係数の検定(RとPython)

文字通り相関係数に差があるかどうかの検定です。 帰無仮説は相関係数をρとするとρ=0、対立仮説はρ≠0となります。 つまり2群に直線的な関係性があるかどうか確かめる検定ということになります。 データは教科書有斐閣「統計学」P60のJリーグの表です。 Rで…

【統計学】平均の差の検定(RとPython)

平均の差の検定。ある2群の標本が独立(つまり別の集団からのサンプリング)か、同じ母集団なのか(つまり母平均が等しい)か確かめるための検定です。 データはおなじみの上記書籍のP60にあるJリーグの試合結果のデータを使用します。 Rで実装 #勝数 wins <…

【統計学】等分散の検定(RとPython)

教科書有斐閣「統計学」P60のJリーグの表をもとに、同書P327の分散の検定を行います。 単純に2群の分散が同じかどうか確かめる検定です。平均の検定でも帰無仮説を棄却できず、分散の検定でも帰無仮説を棄却できない場合は同じ分布の可能性があります。 Rで…

【統計学】仮説検定

統計学をやっていると避けては通れない仮説検定。私は楽しいと面白いと思ったのですが、皆さんはいかがですか? 例のごとく有斐閣「統計学」第10章SECTION1の解説です。 仮説検定とは 仮説検定とは、ある仮説が正しいか、統計学的に検証しようというものです…

【統計学】母集団既知の平均の検定(RとPython)

教科書第10章になります。 母平均に関する検定です。母平均が既知で、標本平均が母集団の平均と重なるかどうか検定します。 Rで実装 t.testで簡単にできます。 詳しいパラメータはこちら。 データ解析・マイニングとR言語 今回は教科書P320 の例題10.1(1)(2)…

【統計学】尤度関数(RとPython)

教科書有斐閣「統計学」第9章SECTION4の内容です。 尤度関数。正直苦手です。 ですので間違えている可能性も大なので炎上マーケ大歓迎です。 最尤推定法とは 自分で説明するよりも下のサイトのほうがはるかにわかりやすいです。 mathtrain.jp 下の実装もこ…

【統計学】区間推定(RとPython)

下の教科書第9章に当たります。 区間推定とは 国勢調査など一部を除き、ふつうはアンケートや視聴率など母集団のうちの一部から母数を推定します。しかしサンプルサイズが十分でない場合、推定量が偏っている場合もあります。そこで、真の母数の入っていそう…

【統計学】母集団と標本

よく間違える母集団と標本。有斐閣「統計学」第8章です。 母集団と標本 ある調査を行うとするとき、 * 母集団:調査対象全体のこと 標本:実際に調査する観測対象のこと であります。たとえばある化粧品の利用者へアンケートを実施した際、ある化粧品の利用…

【統計学】大数の法則と中心極限定理

今回は統計学をやっていると避けては通れない大数の法則の解説とPythonでシミュレーションをしてみました。 教科書第8章SECTION3です。 大数の法則 統計だけでなく金融・政治・社会・経済を語るうえで、大数の法則は欠かすことができません。選挙速報も保険…

【統計学】正規分布

正規分布も様々なところで議論されている。 もちろん有斐閣「統計学」でも でもこちらのほうがわかりやすい気がします。 atarimae.biz 数式で書くとこうなります。 でも図で見るとわかりやすいですね。 正規分布の応用例としては偏差値があります。 なるほど…

【統計学】いろいろな分布

有斐閣「統計学」第7章をまとめようと思ったのですが。。。 qiita.com このブログで十分やん。これ以上特にないし。ということでビジュアライズはこのサイトにお任せして。 簡単な概要だけ書きます。今回は数式は教科書に任せます。 二項分布 結果が2種類し…

【統計学】順列と組み合わせ(RとPython)

高校数学Aでおなじみの場合の数。下記教科書では5章に簡単に説明されています。 Rで実装 #階乗 #5! factorial(5) #[1] 120 #順列 #8個から3つ並べる方法 n <- 8 r <- 3 prod((n-r+1):n) #[1] 336 #3つのものを並べる方法一覧 #install.packages("e1071") lib…

【統計学】ベイズの公式

ベイズ統計学でおなじみのベイズの公式。 ちょうど教科書にも載っていたので復習としてまとめてみました。 ただ、私はこの分野があまり強くないので間違いがあればドンドン指摘いただけると幸いです。 条件付き確率 教科書的には事象Aが生じたもとで事象Bが…