Statistics

詳解 確率ロボティクス 2.3 確率モデル

前回の投稿に引き続き,詳解 確率ロボティクスの2.3 確率モデルを通して学んだことやコードを実行してみた結果のメモです.この投稿はGithubでもご覧になれます(こちら). ガウス分布*は(例えば)センサ値zがa以上b未満()に入る確率を ここで, を表し…

詳解 確率ロボティクス 2.2 度数分布と確率分布

UASの自律飛行にあたって,ロボティクスに興味を持ちました.上田隆一先生の書籍 詳解 確率ロボティクスが出版され,非常に分かり易そうだったので,詳解 確率ロボティクスの2.1センサデータの収集とJupyter Notebook場での準備,2.2 度数分布と確率分布を通…

-R- 正則化パラメータの選択

Lasso推定値は正則化パラメータλの値に依存するため,λの値が異なると当然Lasso推定値も異なってきます. 特に,Lasso推定値の違いは変数選択の結果の違いに直接影響してくるため,正則化パラメータの値の選択は重要です. 前回の投稿(アメリカの犯罪例にLa…

-R- glmnetパッケージをインストール

ターミナルからRを立ち上げます. $ r R version 3.6.0 (2019-04-26) -- "Planting of a Tree" Copyright (C) 2019 The R Foundation for Statistical Computing Platform: x86_64-apple-darwin17.7.0 (64-bit) R is free software and comes with ABSOLUTEL…

-Python- 主成分分析

主成分分析に関するメモです. 主成分分析を行うには scikit-learn パッケージを使用して,sklearn.decomposition の PCA でインスタンスを生成します. 以下の例では,Davis データを用いて主成分分析を行っています. Davisデータ(Davis.csv)はJupyter N…

-Python- 交差検証法によるテスト誤差の推定

K重交差検証法によってテスト誤差を推定する際のメモです. K重交差検証法の計算プロセスは以下のようになります. 学習方法と損失:チューニングパラメータをもつアルゴリズム,損失 入力:データ 入力データを要素数がほぼ等しいK個のグループに分割する.…

損失関数,トレーニング誤差,テスト誤差

データ数を20,10組のデータセットに対してトレーニング誤差をプロットした際の実装例のメモです. まずはパッケージを読み込みます. >>> import numpy as np >>> import matplotlib.pyplot as plt >>> import scipy.stats >>> パラメータ範囲を設定します…

-Python- 共分散,相関係数

Pythonのnumpyのnp.covやnp.corrcoefを使い,データから標本共分散,標本相関係数を求める例のメモです. 関数には, データの次元 x データ数 のサイズのデータ行列を入力します. >>> import numpy as np >>> from sklearn.datasets import load_iris >>> …

期待値と分散

Pythonでは,確率分布からデータを生成するための関数 np.random や scipy.stats として提供されています. サンプルの生成で使うのは,以下のような関数です. 正規分布 np.random.normal(loc = 0.0, scale = 1.0, size = None) オプションのlocは期待値,s…

-Python- サイコロ投げ

等確率で出るサイコロの目をPythonで再現するには,ランダムに要素を取り出す関数 np.random.choice を用います. >>> import numpy as np >>> np.random.choice(np.arange(1, 7), 10) array([5, 6, 3, 2, 1, 4, 3, 3, 2, 2]) >>> np.arange(1, 7) は,標本…

-R- Windows10にRStudioをインストール

WIndows10にRStudioをインストールした際のメモです. まずは,CRANからRStudioのインストーラーをダウンロードします. "Download R for Windows" を選択して,その後,base > Download R 3.6.0 for Windows (3.6.0は現時点でのバージョン)をクリックする…

-R- Jupyter NotebookでRを使う

以前に,Homebrew経由でRをインストールする記事を投稿しました. 今回は,RをJupyter Notebookで使えるようにするための手順のメモです. まずは,ターミナルからRを起動します. $ r 続いて,IRkernelのページにある手順に従って必要になるパッケージをイ…

wekaのインストール

Wekaはニュージーランドのワイカト大学で開発された機械学習,データマイニング用フリーソフトウェアです(関連書籍Data Mining, Fourth Edition: Practical Machine Learning Tools and Techniques ). 以下は,Wekaをインストールした際のメモです.Weka…

-Python- Seabornのインストール

Pythonにおいて,簡単に可視化,描画できるライブラリとしては Matplotlibがよく用いられます. Seabornは,Matplotlibのデザイン部分を強化するための可視化ライブラリの一つです(Seabornの公式ドキュメント).また,統計処理を考えて作成されています. …

-Python- 順列,組合せ

順列,組合せの計算例を以下に示します. 計算例は,REPLで実行しています. 順列 1, 2, 3 の3つのすべての並べ方は, 通りとなります. 順列を求める時には,itertoolsのpermutationsを利用します. >>> import itertools >>> seq = (1, 2, 3) >>> list(ite…

二項分布

Pythonで二項分布のグラぷをプロットすることを考えてみます. 二項分布の確率質量関数は となるので,以下のように実装してみます. xlist = pd.Series([comb(float(M), x) * mu ** x * (1 - mu) ** (float(M) - x)\ for x in range(0, mu+1)]) グラフにプ…

-R- アメリカの犯罪例に Lasso を適用

スパース推定法による統計モデリング (統計学One Point)の 1.3 にある例を実行してみた結果のメモです. アメリカ合衆国の都市における犯罪データに関して Lasso を適用する. まずは,Lassoの代表的なパッケージである glmnet を読み込みます.glmnet パッ…