ディープラーニングで畳込みニューラルネットに並ぶ重要な要素のであるLong Short-Term Memoryについて、その基本を解説します。 LSTMとは リカレントニューラルネットワーク LSTMの役割 LSTMの計算 Output Gate Input GateとForget Gate Forget Gate Input Gate LSTMの肝であるMemory Cell周辺 Forget Gate側の出来事 Input Gate側での出来事 Cellの手前での出来事 出力付近の話 LSTMの役割 セル付近の役割 Forget Gateが過去の情報をどれだけ保持するか決める 全体を通しての役割 最後に LSTMとは LSTMとはLong Short-Term Memoryの略です。 short-term memoryとは短期記憶のことであり、短期記憶を長期に渡って活用することを可能に
はじめに 隠れマルコフモデル 確率分布として考える 隠れていないマルコフモデル 隠れマルコフモデル 隠れマルコフモデルの学習 隠れマルコフモデルでの予測 隠れマルコフモデルで何ができるか リカレントネット リカレントネットの構造 時間方向への展開 深層学習について 記事 はじめに 隠れマルコフモデルでは、時系列的に変動するデータを確率的なモデルで表現します。 通常の機械学習手法（例えばサポートベクターマシン）などでは、データは各時刻毎に独立したデータであると仮定しており、そのデータの順番に意味がないという前提を持っています。（厳密には更に強く仮定をし、各データ点はある一つの確率分布から生起しているとし、各データ点同士は独立であるとする。これを独立同分布に従うデータと言う。） 一方で隠れマルコフモデルでは、データの変動（隠れマルコフモデルでは遷移と呼ぶ）が確率的に起こっているとしてその部分を
今回は状態空間モデルというものを紹介します。 状態空間モデルは統計学や信号処理、制御工学ではお馴染みのモデルで、観測されたデータからモデルの内部の状態を推定することを可能とするものです。代表的なものに、制御や信号処理の分野ではカルマンフィルタがあり、機械学習の分野では隠れマルコフモデルがあります。基本的に扱う対象は時系列データです。 カルマンフィルタは観測が不可能な状態を、観測可能なデータから推測することで、制御対象を適切に制御するための情報を獲得することに用いられています。また隠れマルコフモデルは、観測された音の信号から、それがどんな言葉であったのかを状態量として推定することに用いられています。 状態空間モデル 状態空間モデルの例：線形ガウス状態空間モデル 線形ガウス状態空間モデルと線形回帰 状態空間モデルでの推定 カルマンフィルタ カルマンスムーザー 隠れマルコフモデル 粒子フィルタ
ビタビアルゴリズム（英: Viterbi algorithm）は、観測された事象系列を結果として生じる隠された状態の最も尤もらしい並び（ビタビ経路と呼ぶ）を探す動的計画法アルゴリズムの一種であり、特に隠れマルコフモデルに基づいている。観測された事象系列の確率計算のアルゴリズムである 前向きアルゴリズム（英: forward algorithm）も密接に関連している。これらのアルゴリズムは情報理論の一部である。 このアルゴリズムには、いくつかの前提条件がある。まず、観測された事象と隠されている事象は1つの系列上に並んでいる。この系列は多くの場合時系列である。次に、これら2つの並びには一対一の対応があり、1つの観測された事象は正確に1つの隠されている事象に対応している。第三に、時点 での最も尤もらしい隠されている事象の計算は、 での観測された事象と での最も尤もらしい隠された事象の系列のみに依
今回はAutoEncoderについて書きます。以前ほんのちょっとだけ紹介しましたが、少し詳しい話を研究の進捗としてまとめたいと思います。(AdventCalendarに向けて数式を入れる練習がてら) まず、AutoEncoderが今注目されている理由はDeepLearningにあると言っても過言ではないでしょう。DeepLearningは様々なコンペディション、例えば、ILSVRC2012(画像認識のコンテスト)や化合物の活性予測で、従来の手法を抑えとてつもない成績を収めて注目を浴びました。今年のILSVRC2013ではその殆どがDeepLearningを取り入れているほどです。さらには、「一般紙であるNewYorkTimesにまで記事が掲載」「第一人者であるHinton先生を学生ごとかのGoogleが買収」「BaiduがシリコンバレーにDeep learningの研究所を作る」等学習界隈
Diagram of the feature learning paradigm in machine learning for application to downstream tasks, which can be applied to either raw data such as images or text, or to an initial set of features for the data. Feature learning is intended to result in faster training or better performance in task-specific settings than if the data was inputted directly, compare transfer learning.[1] In machine lear
* この投稿は米国時間 5 月 12 日に投稿されたもの（投稿はこちら）の抄訳です。 Posted by 佐藤一憲, Staff Developer Advocate, Google Cloud Cliff Young, Software Engineer, Google Brain David Patterson, Distinguished Engineer, Google Brain Google 検索、ストリートビュー、Google フォト、そしてGoogle 翻訳。これらのサービスに共通するのは、いずれもニューラルネットワーク（NN）の計算処理の高速化のために Google の第一世代の Tensor Processing Unit (TPU) が用いられている点です。 Google の Tensor Processing Unit (TPU) が搭載された回路基板（左）と、 G
TensorFlow Hub is a repository of pre-trained TensorFlow models. This tutorial demonstrates how to: Use models from TensorFlow Hub with tf.keras. Use an image classification model from TensorFlow Hub. Do simple transfer learning to fine-tune a model for your own image classes. Setup import numpy as np import time import PIL.Image as Image import matplotlib.pylab as plt import tensorflow as tf impo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
