入力された単語に対して何が出力されるのか、ということは前回やりました。 今回は、rnnlmの学習でどのような誤差を評価するかについてです。 早速ですが、tensorflowのチュートリアル Recurrent Neural Networks | TensorFlow では下記のように書かれていま…

深層学習による自然言語処理 の本によれば、 "言語モデル(Language model: LM)あるいは確率的言語モデル (probabilistic language model)とは、人間が扱う自然言語で書かれた文や文書が生成される確率をモデル化したものです" となっています。 例えば、"今…

はてなダイアリーからはてなブログへ引っ越しました

ひとまずの目標がrnnlmを作ってみることなので、その準備として日本語の文書を渡してそれを形態素ごとに区切って出力するやつを作っておきたいです。環境を汚したくないのでdocker内にjuman++をインストールします FROM ubuntu:17.10 RUN apt-get update RUN…

1回のパラメータ更新のために利用するデータの数をbatch_size, データを何周するかをepochと呼ぶみたいです前回は簡単のためbatch_size = 1, epochs = 1 としましたが、現実的には両方1というのはあまりないと思うので前回のプログラムを修正してbatch_size…

dynamic_rnn は前回のinference相当の事をやってくれるらしいです。 In [47]: def inference(x, max_len): ...: state = initial_state ...: for i in range(max_len): ...: (output, state) = rnn_cell(x[i], state) ...: return tf.squeeze(output) あと、…

tensorflow の rnn のチュートリアルはちょっと複雑で何をやってるのかパッとはわからないので、簡単なやつを作って動かしてみたい そもそもRNNとは？ 出力をまた入力に使うらしい。よくこんな図を見るけど具体的に何が起きているのか？深層学習による自然言…

tensorのshape/dimension 一般的には m行n列の行列は m×n行列 と表記すると思うけど m = tf.Variable([2,3]) とかしたときは2行3列なのか？？とかちゃんとわかってないので確認したいconstantで確認する In [12]: c1 = tf.constant([[1,2,3], [2,3,4]]) In […

お笑い番組がすごく好きで昔からよく見ていたのですが、最近、"タレント☆名鑑も水曜日のダウンタウンも藤井健太郎という人がつくっているのか!"、とか、"ゴットタンでもキングちゃんでも佐久間Pが出てきてるな〜"、とか思うことがあったので、"出演者よりも…