Neural Network

-Deep Learning- ミニバッチ学習の実装

ニューラルネットワークの学習の実装は,ミニバッチ学習で行います.ミニバッチ学習とは,トレーニングデータから無作為に一部のデータを取り出して(ミニバッチ),そのミニバッチを対象に,勾配法によりパラメータを更新します. 以下に,プログラミング例…

-Deep Learning- ニューラルネットワークにおける勾配

ニューラルネットワークの学習においては,勾配を求める必要があります.この勾配とは,重みパラメータに関する損失関数の勾配のことです.例として,2 x 3の重みWを持つニューラルネットワークと損失関数をLで表す場合を考えます. 以下に,簡単なニューラ…

-Deep Learning- 推論を行うニューラルネットワーク

前回の投稿で読み込んだMINSTデータセットに対して推論処理を行うニューラルネットワークを実装する例を以下に示します. ネットワークは,入力層を784個,出力層を10個のニューロンで構成します.入力層の784個は,画像サイズの28 x 28 = 784からきています…