深層学習による自然言語処理 の本によれば、 "言語モデル(Language model: LM)あるいは確率的言語モデル (probabilistic language model)とは、人間が扱う自然言語で書かれた文や文書が生成される確率をモデル化したものです" となっています。 例えば、"今…

1回のパラメータ更新のために利用するデータの数をbatch_size, データを何周するかをepochと呼ぶみたいです前回は簡単のためbatch_size = 1, epochs = 1 としましたが、現実的には両方1というのはあまりないと思うので前回のプログラムを修正してbatch_size…

dynamic_rnn は前回のinference相当の事をやってくれるらしいです。 In [47]: def inference(x, max_len): ...: state = initial_state ...: for i in range(max_len): ...: (output, state) = rnn_cell(x[i], state) ...: return tf.squeeze(output) あと、…

tensorflow の rnn のチュートリアルはちょっと複雑で何をやってるのかパッとはわからないので、簡単なやつを作って動かしてみたい そもそもRNNとは？ 出力をまた入力に使うらしい。よくこんな図を見るけど具体的に何が起きているのか？深層学習による自然言…

tensorのshape/dimension 一般的には m行n列の行列は m×n行列 と表記すると思うけど m = tf.Variable([2,3]) とかしたときは2行3列なのか？？とかちゃんとわかってないので確認したいconstantで確認する In [12]: c1 = tf.constant([[1,2,3], [2,3,4]]) In […