Cloud Functions + PubSub のローカル開発環境をdocker-composeで構築

Cloud Function でhttpリクエストを受け取りPubSubを経由して別のFunctionを起動する、という機能を開発した際のローカル環境構築メモ。 Function用のイメージのビルド Gemfile source "https://rubygems.org" gem "functions_framework", "~> 0.7" gem "goo…

nuxt.js + BalmUI

nuxt.js のプロジェクトを作成 $ npx nuxi init nuxt-balm-ui balm-ui をインストール $ cd nuxt-balm-ui $ npm install $ npm install --save balm-ui cssファイルの読み込みのため nuxt.config.ts を修正 // https://nuxt.com/docs/api/configuration/nuxt…

TypeScript + Vue.js で Chrome拡張機能を開発する

前回とほぼ同じ話です。 Chrome拡張機能の開発ではアイコンクリック時に表示されるポップアップと、開発者ツールに追加するタブでHTMLページを利用します。 このHTMLページの開発でVue.jsを利用したい、というのがモチベーションです。 Vue.jsでの開発ではよ…

TypeScriptでChrome拡張機能を開発

Chrome拡張機能をちょっと作ってみたときにTypeScriptを使ってみたかったので、その時の手順をメモ。 基本的な方針はChrome拡張機能の雛形を作成してくれる GitHub - dutiyesh/chrome-extension-cli: The CLI for your next Chrome Extension を利用しつつ…

PyTorchの基本的なところ

テンソルの添字 >>> t = torch.zeros(2, 3, 4) >>> t tensor([[[0., 0., 0., 0.], [0., 0., 0., 0.], [0., 0., 0., 0.]], [[0., 0., 0., 0.], [0., 0., 0., 0.], [0., 0., 0., 0.]]]) >>> t.shape torch.Size([2, 3, 4]) >>> t[0][1][2] = 1 >>> t tensor([[…

Bashのプロンプトをカスタマイズする

やりたいこと カレントディレクトリと時刻とgitのブランチとgcloudに設定されているプロジェクトを表示したいです そもそもどこで設定されている? 環境変数のPS1に設定されています echo $PS1 ${debian_chroot:+($debian_chroot)}\[\033[01;32m\]\u@\h\[\03…

Keras に入門する 文書生成 Part.1 サンプルを動かしてみる

文書生成のサンプルを動かしてみる keras/lstm_text_generation.py at master · keras-team/keras · GitHub Colabはこれ https://colab.research.google.com/drive/1lbSMhWEUxenIXVPSCl8MaYcz_rJbuB6o もとの文書は https://s3.amazonaws.com/text-datasets/…

Keras に入門する 画像分類 Part.3 独自の分類器を作ってみる

前回準備した画像で学習してみる https://colab.research.google.com/drive/1NQhm5hCOFqv1v-QZM-AuGr1bDWbz2Mgh 学習結果は WARNING:tensorflow:Variable *= will be deprecated. Use `var.assign(var * other)` if you want assignment to the variable val…

Keras に入門する 画像分類 Part.2 画像を用意する

32x32のカラー画像とそのラベルがあれば、前回の方法でそれらを判別するシステムを作れそうなので、今回は32x32の画像を用意してみよう テーマは料理の画像を判別するシステム、とした 個人的にこのテーマは割と良いものが選べたんじゃないかと自負していて…

Keras に入門する 画像分類 Part.1 サンプルを動かしてみる

前回サンプルで扱うデータを眺めてみたので、今回は実際にサンプルを動かして画像の分類をしてみたい サンプルはこれ keras/cifar10_cnn.py at master · keras-team/keras · GitHub colab https://colab.research.google.com/drive/1oCHanNltHykuY2R89lUFYY9…

Keras に入門する 画像分類 Part.0 cifar10 を眺める

Kerasのサンプルを1つ理解 → 似たような問題を解決する何かを作ってみる、という流れでいくつか問題を解いていく、ということをしていきたい 最初は画像分類をしてみる。 サンプルはこれ github.com まだデータやコードを見ていないけれど、多分 学習データ…

Tensorflow: Threading and Queues 和訳

QueueはTensorFlowを利用した非同期処理のための強力なメカニズムである。 TensorFlowのその他の機能と同じように、queueはTensorFlowのグラフのノードである。 これは変数のように状態をもつノードであり、他のノードがその状態を変更することができる。 特…

rnnlmを作ってみる その2 誤差について

入力された単語に対して何が出力されるのか、ということは前回やりました。 今回は、rnnlmの学習でどのような誤差を評価するかについてです。 早速ですが、tensorflowのチュートリアル Recurrent Neural Networks | TensorFlow では下記のように書かれていま…

rnnlmを作ってみる その1 定義とか

深層学習による自然言語処理 の本によれば、 "言語モデル(Language model: LM)あるいは確率的言語モデル (probabilistic language model)とは、人間が扱う自然言語で書かれた文や文書が生成される確率をモデル化したものです" となっています。 例えば、"今…

引っ越しました

はてなダイアリーからはてなブログへ引っ越しました

juman++を利用して分かち書き

ひとまずの目標がrnnlmを作ってみることなので、その準備として日本語の文書を渡してそれを形態素ごとに区切って出力するやつを作っておきたいです。環境を汚したくないのでdocker内にjuman++をインストールします FROM ubuntu:17.10 RUN apt-get update RUN…

batch, epochについて学ぶ

1回のパラメータ更新のために利用するデータの数をbatch_size, データを何周するかをepochと呼ぶみたいです前回は簡単のためbatch_size = 1, epochs = 1 としましたが、現実的には両方1というのはあまりないと思うので前回のプログラムを修正してbatch_size…

dynamic_rnn を使ってみる

dynamic_rnn は前回のinference相当の事をやってくれるらしいです。 In [47]: def inference(x, max_len): ...: state = initial_state ...: for i in range(max_len): ...: (output, state) = rnn_cell(x[i], state) ...: return tf.squeeze(output) あと、…

tensorflow で rnn を動かしてみる

tensorflow の rnn のチュートリアルはちょっと複雑で何をやってるのかパッとはわからないので、簡単なやつを作って動かしてみたい そもそもRNNとは? 出力をまた入力に使うらしい。よくこんな図を見るけど具体的に何が起きているのか?深層学習による自然言…

tensorflowの初歩の初歩

tensorのshape/dimension 一般的には m行n列の行列は m×n行列 と表記すると思うけど m = tf.Variable([2,3]) とかしたときは2行3列なのか??とかちゃんとわかってないので確認したいconstantで確認する In [12]: c1 = tf.constant([[1,2,3], [2,3,4]]) In […

面白いバラエティ番組に共通しているスタッフが作っている番組もきっと面白いんじゃないかと思って調べた

お笑い番組がすごく好きで昔からよく見ていたのですが、最近、"タレント☆名鑑も水曜日のダウンタウンも藤井健太郎という人がつくっているのか!"、とか、"ゴットタンでもキングちゃんでも佐久間Pが出てきてるな〜"、とか思うことがあったので、"出演者よりも…

ScalaTest がよくわからなかったので調べた

Scalaの勉強をしていて下記のようなコードが出てきたhttps://dwango.github.io/scala_text/test.html#fn_3 import org.scalatest._ class CalcSpec extends FlatSpec with DiagrammedAssertions { val calc = new Calc "sum関数" should "整数の配列を取得し…

Google Python Style Guide を読んだ時のメモ

https://google.github.io/styleguide/pyguide.html を読んだ時のメモ Imports パッケージかモジュール単位でのみimportをする Packages モジュールはフルパスを指定してインポートする # Reference in code with complete name. import sound.effects.echo …

pandasの使い方とか

普段pythonもpandasもscikit-learnも使ってないのでチートシート的にまとめておきたい随時更新していく ファイルの読み込み train = pd.read_csv('train.csv') 欠損値の確認 total = train.isnull().sum().sort_values(ascending=False) ratio = total / tra…

Stackingについて

https://mlwave.com/kaggle-ensembling-guide/を読んでも意味がわからなかったけど、やっとわかったのでメモとして残す。意味がわからなかったのは、Stacked generalizationの部分で、 ・Split the train set in 2 parts: train_a and train_b ・Fit a first…

ubuntuのsbtでパッケージを追加しようとすると ValidatorException: PKIX path building failed って言われるとき

sudo /var/lib/dpkg/info/ca-certificates-java.postinst configureってやったらなおったhttp://activeintelligence.org/blog/archive/server-access-error-sun-security-validator-validatorexception-pkix-path-building-failed/

ubuntu で docker と spark on docker

いつも忘れてしまうのでインストールwget -qO- https://get.docker.com/ | sh イメージの検索sudo docker search イメージの取得sudo docker pull 取得済みのイメージの確認sudo docker imagesコンテナの起動sudo docker run -it -p -h bash sparkを試してみ…

angularjs2

AngularJS2 を組み込むindex.html の に 以下を追加する <script src="node_modules/es6-shim/es6-shim.min.js"></script> <script src="node_modules/systemjs/dist/system-polyfills.js"></script> <script src="node_modules/angular2/es6/dev/src/testing/shims_for_IE.js"></script>

bootstrap dashboard-layout 2

次はサイドのメニュー <div class="container-fluid"> <div class="row"> <div class="col-md-2 sidebar"> <ul class="nav nav-sidebar"> <li class="active"><a href="#">メニュー1</a></li> <li><a href="#">メニュー2</a></li> <li><a href="#">メニュー3</a></li> </ul> </div> <div class="col-md-10"> </div>…</div></div>

bootstrap dashboard-layout 1

http://getbootstrap.com/examples/dashboard/仕事で上記ページのような、上にナビゲーションバー、左にメインメニューのレイアウトの画面を作ることが多いのでその練習。まずはナビゲーションバー。 前回のindex.html の body の先頭に以下を追加する。 <nav class="navbar navbar-inverse navbar-fixed-top"> <span class="navbar-brand">SP</span></nav>…