なぜ自然言語処理にとって単語の分散表現は重要なのでしょうか？ この記事をご覧になっている方は Word2vec(Mikolov et al., 2013) についてご存知かもしれません。Word2vec ではまるで単語の意味を捉えられているかのような演算を行うことができます。例えば King から Man を引き Woman を足すと Queen が得られる(King - Man + Woman = Queen)というのは有名な例です。 from https://www.tensorflow.org/get_started/embedding_viz 実はその内部では、単語を分散表現(あるいは埋め込み表現)と呼ばれる200次元ほどのベクトルで表現してベクトルの足し引きを行っています。この200次元ほどのベクトル内部に各単語の特徴が格納されていると考えられています。そのため、ベクトルの足し引
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 機械学習の世界において、画像といえばConvolutional Neural Network(以下CNN)というのは、うどんといえば香川くらい当たり前のこととして認識されています。しかし、そのCNNとは何なのか、という解説は意外と少なかったりします。 そこで、本記事ではCNNについてその仕組みとメリットの解説を行っていきたいと思います。 なお、参考文献にも記載の通り解説の内容はStanfordのCNNの講座をベースにしています。こちらの講座はNeural NetworkからCNN、はてはTensorflowによる実装まで解説される予定な
トップページ→研究分野と周辺→ニューラルネットワーク→ ボルツマンマシンは、Hinton、Sejnowskiらによって1980年代半ばに開発された、確率的に動作するニューラルネットワーク。19世紀の物理学者で統計熱力学の創始者とされる、ボルツマン（Boltzmann）の名を用いた。 ネットワークの動作に温度の概念を取り入れ、最初は激しく徐々に穏やかに動作する（擬似焼きなまし法）ように工夫している。 最急降下法による誤差逆伝播法や、ホップフィールド・ネットワークは、局所解への捕捉が宿命的な問題としてある。 ボルツマンマシンは、確率的に敢えて良くない解に移動する事を取り入れ、局所解からの脱出を試み、成果を挙げた。しかし、計算時間が長い等の克服すべき課題もある。 ニューラルネットワークに擬似焼きなまし法を取り入れたものは、全て広い意味でのボルツマンマシンと考えられるが、ここでは、出力関数に取り入
ボルツマン分布ってなんだろう きみたち、そろそろ就職じゃろ？イシガス商事に入ってみないか？お給料は完全歩合制。きみたちはセールスマンだとして、商談を勝ち取ればお給料が増えるとする。でも、一個も商談を勝ち取らないと、お給料はゼロじゃ。 いやー、こんな会社（笑）。 商談を勝ち取る確率が1/2だったら、非常に話は簡単になるよね。二項分布ってやつじゃないの？ そうね。お給料の平均をもらう人が一番多い、っていう分布(↓)になりそうだわ。 しかし、ここの社長としては困ったことが起きた。月々によって、従業員に配る全人件費がちがうんじゃ。社員たちがどのくらい商談を勝ち取るかどうかは、為替だの原油価格だの、不確定な要素にも左右されるので、社員に配る給料が予期せず上下してしまう。ところが社長としては、予測可能なほうがいい。そんなわけで、全従業員に配る給料の総額をあらかじめ決めてしまうことにした。固定費は変動し
Description The library allows you to formulate and solve Neural Networks in Javascript, and was originally written by @karpathy (I am a PhD student at Stanford). However, the library has since been extended by contributions from the community and more are warmly welcome. Current support includes: Common Neural Network modules (fully connected layers, non-linearities) Classification (SVM/Softmax)
QiitaにてCaffe, Pylearn2のinstallに関する記事を投稿したところTwitterで次のような反応を頂きました。 やはり準備が鬼門すぎる。インストール済みのDockerコンテナとかがあればな・・・ Caffe, Pylearn2をまとめて試す by @_Cordea on @Qiita http://t.co/ktKeIHeTxD— ピクシィ (@icoxfog417) January 25, 2015 これは私も感じていたことで、installが一番の関門ではないにしろ、「ちょっと使ってみたい」というユーザーを阻むには十分すぎる障壁だろうと思います。 もちろん、Pylearn2はVagrantに慣れていればVMが公開されているのでそちらを使用する手もあります。 一応Dockerfileも書いてはいる(動作確認はしていない)のですが、そもそもDockerfileを使用す
かなり以前(2012年)のものになりますが、deeplearning.netでRecurrent Neural Network(の一種)のTheanoによる実装とMIDIデータからの旋律予測に関する論文の実装が公開されていたの紹介します。またその他機械学習による音楽情報の解析に関して少し紹介します。 Modeling and generating sequences of polyphonic music with the RNN-RBM (deeplearning.net) Modeling Temporal Dependencies in High-Dimensional Sequences: Application to Polyphonic Music Generation and Transcription 論文pdf 著者ページ 論文概要 Recurrent Neural Ne
一番の違いは、生成モデルか識別モデルか、ということ。それぞれ、 Markov Random Fields (MRF) は生成モデル Conditional Random Fields (CRF) は識別モデル です。 What is exactly the difference between MRF and CRF ここを見ると割とすっきりする。 ただ、少しスムーズに納得できないことがありまして…それは、MRFもCRFもグラフィカルモデルで書くと無向グラフとなること。識別モデルは無向グラフで生成モデルは有向グラフなんじゃ…？と思ってしまう人もいるんじゃないかと思う（いなかったらごめんなさい）。 グラフィカルモデルとしての表現 一般に、生成モデルは有向グラフの形で記述され、識別モデルは無向グラフとして記述される。例えば、隠れマルコフモデル (HMM) は有向グラフで、条件付き確率場 (CR
我らが自称ゆるふわ*1ガチ勢代表@motivic_氏がこんな記事をupしてました。 ということで、こんなに簡単にDeep LearningをR上で試せるんだったらついでに僕もやってみようと思ったのでした。ただし同じirisでやるのも芸がないので*2、そこはちょっと変えてみましたよーということで。 そうそう、Deep Learningの原理については@0kayuさんのまとめがめちゃくちゃ参考になると思うので、是非是非ご参照ください。 実装ディープラーニング 今回はまだ初歩の初歩しか触りませんが、それでもチューニングのところなどにこのスライドにも出てくるような様々な原理的側面がかかわってきます。 そもそもH2Oって何だっけ 0xdata - H2O h2o/R at master · 0xdata/h2o · GitHub 元々H2Oはin-memoryプラットフォームとしてHadoop上や最
いま、巷で話題（３年くらい前からだいぶ話題だけど）のDeep learningをア◯でも使えるpylearn2を使って見る。 Deep learningとは？ 一言で言うと「教師なしのニューラルネットをいっぱいつなげて多層ネットワーク化したもの。」 いままでは 前処理職人の丹精を込めた特徴量作り → 分類器（SVMとか、ロジスティック回帰とか、なんでもいいので関数）の学習 だったのが、 黒魔術で特徴量作り → 分類器（SVMとか、ロジスティック回帰とか、なんでもいいので関数）の学習 にできる。 黒魔術をもうちょっと紐解く 「黒魔術」って言ってるところでやっていることは「ベストな写像関数の学習」 もう少し、言葉を厳密に表現すると、「入力/ノイズ付き出力の変換をうまく表現できる関数の学習」 この関数はできるだけ良い[1]条件で別の空間に写像する。 なので、この関数が学習できると、特徴量空間に射
ずいぶん遅くなりましたが、ひとまず完成です。疑問点・翻訳ミスを始めとした指摘がありましたら、どしどしお願いします(14/12/18)。 1週間あるから大丈夫だろうとたかを括っていたら、あっという間に投稿日になってしまいました。本当はPylearn2を使ってRBMを学習させようと考えていたのですが、役に立つ内容を書くには時間が足りなさすぎるので、お茶を濁します。 今回の目標 Restricted Boltzmann Machine及びDeep Belief Networkの基本的な動作原理を知る "A Practical Guide to Training Redstricted Boltzmann Machine"(GE Hinton, 2012)で黒魔術(RBMの性能を引き出すコツ)を学ぶ 先日、以下のような発表をしました。今回の内容は以下のスライドの焼き直し・改良を含みます。参考にどう
Machine Learning Advenc Calendar 2013の23日目担当の得居です。 株式会社Preferred InfrastructureでJubatusを作ったりしています。 今日は深層学習(deep learning)の話です。 深層学習はこの2年ほどで専門外の人にも知れ渡るほどに大流行しました。 データさえ大量にあればテクニック次第で他の手法を圧倒する性能を達成できることから、特に大量のデータを持つ大企業において大々的な参入が相次ぎました。 主に流行っているのは教師あり学習です。 補助として教師なし学習による事前学習(pretraining)も、特に音声認識のタスクにおいては行われているようですが、画像認識を中心に事前学習なしでもテクニック次第で学習できるという見方が強まっています。 一方で教師なしデータからの学習はブレイクスルー待ちといった雰囲気です。 Deep
Hello Autoencoder 最近，身内でDeep Learningを題材に含んだ勉強会を行なっている． メインは専門である自然言語処理まわりだが， とりあえず実装(というよりnumpy)の導入になる上，結果を視覚化できることから， 画像データを利用したAutoencoderの実装について取り扱った． 軽い説明と共にコードと，色々な結果を Autoencoder Autoencoderとは,Neural Networkの特殊系で，基本的には 入力層と出力層のユニット数が同じである． 教師信号として入力そのものを与える． という特徴を持つ． 入力と出力が共に4次元で，隠れ層が2次元なAutoencoderの図 Autoencoderは，入力の情報をを一度隠れ層の空間に写像(encode) したあと， 元の信号を復元(decode)するようなパラメータを学習する． 図のように，もしも隠れ
2014年11月13日開催の全脳アーキテクチャ若手の会 第3回Deep Learning勉強会の資料です。RBMの動作原理をポイントを押さえて解説しました。参考資料を後ろに纏めましたのでご自由にご活用ください。Read less
2. 黒船到来 • 自然言語処理における Deep Learning の活用を紹介 • google の人が公開したword2vecというツールが話題 4. n-gram language model • 文に対する確率分布をモデル化 • 単語の条件付き確率の積で表す • 単語の条件付き確率はN-1個前までの単語で計 算できると仮定する 適切なn-gram確率をいかに求めるかがこれまでの焦点 コーパスに現れない低頻度なn-gramにも事前分布に従って正確な 確率を与えるという試みがなされてきた（スムージング） 5. n-gram lm の例 • HPYLM trigram の確率は… 観測したtrigram頻度を ディスカウントして… bigram確率でback-off “トヨタ/自動車” の確率は 0.5 “日産/自動車”の確率は0.4 Q: トヨタと日産の関係は？ A: 知らない
2. ⾃自⼰己紹介 l 得居 誠也 (Seiya Tokui) 株式会社Preferred Infrastructure, Jubatus Pj. リサーチャー l 専⾨門は機械学習（修⼠士、現職） l – 系列列ラベリング→ハッシュ・近傍探索索→深層学習 l 今の興味は深層学習、表現学習、分散学習、映像解析 l @beam2d (Twitter, Github, etc.) 2 / 47 3. 2011年年: ⾳音声認識識における成功 l l 3 / 47 DNN-‐‑‒HMM を使った⼿手法が、⾳音声認識識の word error rate で従来 法 (GMM) より 10% 前後も改善 携帯端末における⾳音声操作に Deep Learning が利利⽤用されるように F. Seide, G. Li and D. Yu.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Download H2O 2.9.0.1697
