深層学習による自然言語処理 の本によれば、 "言語モデル(Language model: LM)あるいは確率的言語モデル (probabilistic language model)とは、人間が扱う自然言語で書かれた文や文書が生成される確率をモデル化したものです" となっています。 例えば、"今…

1回のパラメータ更新のために利用するデータの数をbatch_size, データを何周するかをepochと呼ぶみたいです前回は簡単のためbatch_size = 1, epochs = 1 としましたが、現実的には両方1というのはあまりないと思うので前回のプログラムを修正してbatch_size…

dynamic_rnn は前回のinference相当の事をやってくれるらしいです。 In [47]: def inference(x, max_len): ...: state = initial_state ...: for i in range(max_len): ...: (output, state) = rnn_cell(x[i], state) ...: return tf.squeeze(output) あと、…

tensorflow の rnn のチュートリアルはちょっと複雑で何をやってるのかパッとはわからないので、簡単なやつを作って動かしてみたい そもそもRNNとは？ 出力をまた入力に使うらしい。よくこんな図を見るけど具体的に何が起きているのか？深層学習による自然言…

tensorのshape/dimension 一般的には m行n列の行列は m×n行列 と表記すると思うけど m = tf.Variable([2,3]) とかしたときは2行3列なのか？？とかちゃんとわかってないので確認したいconstantで確認する In [12]: c1 = tf.constant([[1,2,3], [2,3,4]]) In […

https://google.github.io/styleguide/pyguide.html を読んだ時のメモ Imports パッケージかモジュール単位でのみimportをする Packages モジュールはフルパスを指定してインポートする # Reference in code with complete name. import sound.effects.echo …

普段pythonもpandasもscikit-learnも使ってないのでチートシート的にまとめておきたい随時更新していく ファイルの読み込み train = pd.read_csv('train.csv') 欠損値の確認 total = train.isnull().sum().sort_values(ascending=False) ratio = total / tra…

windowsのノートPCからLinuxのデスクトップPCへsshでつないで作業するみたいなことが多いのですが、そんなときpythonでグラフを出力したいときにいつもやり方を忘れるので備忘録。 import matplotlib matplotlib.use("Agg") import matplotlib.pyplot as plt…

転職して、Web系のプロダクトに関わるようになって一年立ちました。 フロントもバックエンドも一応触っていますが、既にある機能の改修とか小さい機能の追加がメインです。 自分で0から作れる自信がないです。 自信がないのは経験がないからだと思います。 …

ディープラーニングのチュートリアル http://deeplearning.net/tutorial/intro.html今回はMultilayer perceptron を読んでいきます。 http://deeplearning.net/tutorial/mlp.html 多層パーセプトロン 今回扱うのは、隠れ変数の層が一つある多層パーセプトロ…

ディープラーニングをやってみたいので http://deeplearning.net/tutorial/intro.html を読んでます。自分なりにまとめていきます。今回は http://deeplearning.net/tutorial/logreg.html#logreg ロジスティック回帰 ロジスティック回帰ってのはクラス分類問…

Linuxを使っているときはxmonadを使っていますが、"Windowsにはタイル型ウィンドウマネージャはないよ！"っていう情報をどっかでみたのを鵜呑みにして"そっかーないのかー"と思ってしゃーなしでそのまま使っていましたが、昨日使えそうなものを見つけたので…