機械学習

rnnlmを作ってみる その1 定義とか

深層学習による自然言語処理 の本によれば、 "言語モデル(Language model: LM)あるいは確率的言語モデル (probabilistic language model)とは、人間が扱う自然言語で書かれた文や文書が生成される確率をモデル化したものです" となっています。 例えば、"今…

batch, epochについて学ぶ

1回のパラメータ更新のために利用するデータの数をbatch_size, データを何周するかをepochと呼ぶみたいです前回は簡単のためbatch_size = 1, epochs = 1 としましたが、現実的には両方1というのはあまりないと思うので前回のプログラムを修正してbatch_size…

dynamic_rnn を使ってみる

dynamic_rnn は前回のinference相当の事をやってくれるらしいです。 In [47]: def inference(x, max_len): ...: state = initial_state ...: for i in range(max_len): ...: (output, state) = rnn_cell(x[i], state) ...: return tf.squeeze(output) あと、…

tensorflow で rnn を動かしてみる

tensorflow の rnn のチュートリアルはちょっと複雑で何をやってるのかパッとはわからないので、簡単なやつを作って動かしてみたい そもそもRNNとは? 出力をまた入力に使うらしい。よくこんな図を見るけど具体的に何が起きているのか?深層学習による自然言…

tensorflowの初歩の初歩

tensorのshape/dimension 一般的には m行n列の行列は m×n行列 と表記すると思うけど m = tf.Variable([2,3]) とかしたときは2行3列なのか??とかちゃんとわかってないので確認したいconstantで確認する In [12]: c1 = tf.constant([[1,2,3], [2,3,4]]) In […

多層パーセプトロン

ディープラーニングのチュートリアル http://deeplearning.net/tutorial/intro.html今回はMultilayer perceptron を読んでいきます。 http://deeplearning.net/tutorial/mlp.html 多層パーセプトロン 今回扱うのは、隠れ変数の層が一つある多層パーセプトロ…

ロジスティック回帰

ディープラーニングをやってみたいので http://deeplearning.net/tutorial/intro.html を読んでます。自分なりにまとめていきます。今回は http://deeplearning.net/tutorial/logreg.html#logreg ロジスティック回帰 ロジスティック回帰ってのはクラス分類問…

"ベイジアンフィルタを実装してみよう" をやってみた

最近は機械学習と、こないだ作ったWebサイトをいじくることにはまっているので、サイト上で機械学習のサンプルを動かしてみました。http://uhiaha888.com/machine_learnings/bayesian_filter.htmlといってもgihyo.jpの連載 http://gihyo.jp/dev/serial/01/ma…