自然言語処理

rnnlmを作ってみる その1 定義とか

深層学習による自然言語処理 の本によれば、 "言語モデル(Language model: LM)あるいは確率的言語モデル (probabilistic language model)とは、人間が扱う自然言語で書かれた文や文書が生成される確率をモデル化したものです" となっています。 例えば、"今…

juman++を利用して分かち書き

ひとまずの目標がrnnlmを作ってみることなので、その準備として日本語の文書を渡してそれを形態素ごとに区切って出力するやつを作っておきたいです。環境を汚したくないのでdocker内にjuman++をインストールします FROM ubuntu:17.10 RUN apt-get update RUN…