今更ながら、畳込みニューラルネット（CNN）の基本技術を比較します。 やりたいことは、どの技術が一番効果があるのか数値化します。 以下の流れでやっていきます。 （基本のCNN） → （Resnetの各技術を追加していく） → （+最先端技術） 基本のCNNに、Resnetに出てくる技術を追加しながら、分類精度の上昇幅を比較します。 コードはkerasで書いています。 #Resnetとは 2015年に登場したモデルで、層を飛ばす仕組みを作ることで、深い層を作っても 学習可能なモデルとなりました。ディープラーニング業界では、斬新なアイデアで 革命を起こしました。 詳しくは以下の記事をご覧下さい。 https://qiita.com/koshian2/items/343a55d59d8fdc112661 #データのダウンロード 使うデータはCIFAR-10です。これは、32×32サイズの画像が入
畳み込みニューラルネットワーク（CNN）で成功を収めたネットワークの1つにRes-Nets（Residual Networks、残差ネットワーク）があります。一般にRes-Netsを使うと勾配消失問題に強いとされます。CIFAR-10データセットを使ってRes-Netsの有効性を軽く確認してみました。 元の論文 K.He, X.Zhang, S.Ren, J.Sun, "Deep Residual Learning for Image Recognition", 2015 https://arxiv.org/pdf/1512.03385.pdf 残差ブロック（Residual Block）とは このようにショートカット構造のあるレイヤーの組み合わせ（ブロック）のこと。K.He et al.(2015)より 分岐前の活性化関数適用後の値を$a^{[l]}$とすると、合流後の活性化関数適用前の
英語版はこちら。 TensorFlowの登場以降、OSSベースの機械学習の盛り上がりは加速しています。Kerasの作者のFrançois Cholletさんの言葉が、この状況を非常に端的に表しています。これだけでも十分だとは思いますが、この記事では、なぜオープンソースの機械学習が強いのか、最近のどういった流れがあるのかを整理したいと思います。 tl;dr機械学習やDeep Learningのフレームワークが充実してきた論文が査読前に公開され、他社も簡単にアルゴリズムの検証ができるようになった多くのプレーヤーの参戦により、アカデミアでの機械学習の研究がレッドオーシャン化した他社にないアルゴリズムで一発勝負、実装は秘密、というアプローチが厳しい牧歌的な時代5年前10年前の世界では、先端の機械学習に取り組んでいるのは大学などの研究室、大企業の研究所や一部の先進的な企業がほとんどでした。特に、ラベ
著者の松浦さんから「StanとRでベイズ統計モデリング」をいただきました。ありがとうございます！ 書籍では Stan の R バインディングである RStan を利用していますが、Stan には Python 用の PyStan もあります。松浦さんが書籍 5.1節の PyStan での実行例を書かれています。 statmodeling.hatenablog.com 補足 PyStan については過去にも書いた内容があります。 sinhrks.hatenablog.com 同じように、「StanとRでベイズ統計モデリング」の内容を Python で実施してみました。 11.3 ゼロ過剰ポアソン分布 以降、書籍 "11.3節 ゼロ過剰ポアソン分布" の流れに沿って Python のスクリプトを記載します。ロジックや処理自体の説明は書籍をご参照ください。データと Stan のスクリプトは Gi
こんにちは。おうちハッカーの石田です。 いつもはおうちハックネタばかりですが、今日は人工知能関連の話題です。 今日2015/11/10、Googleが自社サービスで使っているDeepLearningを始めとする機械学習技術のライブラリを公開しました。 TensorFlowという名前で、おそらくテンソルフローと呼びます。 テンソルは、数学の線形の量を表す概念で、ベクトルの親戚みたいなものです。それにフローをつけるということは、そういった複雑な多次元ベクトル量を流れるように処理できる、という意味が込められているのだと思います。 こちらをさっそく触ってみたので、紹介したいと思います。 TensorFlowの特徴 公式紹介ページから特徴をいくつかピックアップします。 Deep Flexibility ~深い柔軟性~ 要望に応じて、柔軟にニューラルネットワークを構築できます。ニューラルネットワークの
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます NECは11月2日、ビッグデータ分析を高度化する人工知能技術の1つとして、予測に基づいた判断や計画をソフトウェアが最適に行う「予測型意思決定最適化技術」を開発したと発表した。 同社の「異種混合学習技術」などを用いた予測結果に基づき、これまで人間が実施していた戦略や計画の立案といったより高度な判断をソフトウェアで実現するというもの。さまざまなソリューションへの適用を目指し、同技術を2015年度中に実用化する予定。 近年ではIoT（Internet of Things）などの普及によって、実社会で収集されるビッグデータを活用した分析、予測のニーズが急速に高まっている。 そこでNECでは2012年にビッグデータに混在する多数の規則性を発見する
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 富士通研究所は9月7日、5000万件を超える大規模データからの機械学習による予測モデル生成を、これまで1週間以上の時間を要していたのに対し、新たに数時間で高精度に実現する技術を開発したと発表した。 同技術を用いた予測モデルにより、大規模ECサイト会員の退会抑制や設備の故障対応の迅速化といった改善をタイムリーに実現できるという。同社では、ビッグデータを活用する富士通Analyticsソリューションなどでの実証実験を通じ、本技術の2015年度中の実用化を目指す。 ECサイトのアクセス履歴から、いつどのサイトにアクセスした会員が退会しやすいかを学習し、該当する会員を早期に検出することで退会を防ぐ対策を施したり、日々の詳細な電力消費量のデータか
c � 1. 5 2011 10 [1] ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2012 2 10 [2, 3] 1 [4] [5] 2. x ∈ X y ∈ Y z = (x, y), Z = X × Y Preferred Networks 113–0033 2–40–1 4 tokui@preferred.jp S = {zi}N i=1 ⊂ Z f : X → Y F = {fθ|θ ∈ Θ} fθ ∈ F F zi S f z = (x, y) �(f, z) f(x) y ES(f) = ( � z∈S �(f, z))/N ES(f) f z = (x, y) E(f) = Ez[�(f, z)] E(f) E(f) f f [6] f� F f� F F ˆ fF E(f) E(f� ) E(f
情報が増えすぎてまとめ始めたら、すごい量になったので分離しました。 目次 始めた時の状況 ChainerのMNISTのexampleを動かすまで Chainerとは Chainerを入れてexampleを走らせる MNISTってなんだ ディープラーニングってなに？ 失敗１：局所的な話にハマる 失敗2：ディープラーニングなプロダクトを使ってみる 関連：ディープラーニングでなにができるのかを知る まとまった資料を読む Chainerのexampleを解釈する/簡単なコードを書く Chainerの周辺知識(Theano/numpy)を知る Theanoを調べる Chainerと既存のフレームワーク(Theanoを使ったもの)との違い おまけ：numpyを調べる 数学的な背景を学ぶ おまけ MNIST以外のChainerのサンプル ネタ 始めた時の状況 パーセプトロンの概要くらいは知っている Py
#はじめに そもそもDQNが作りたかったわけじゃなくて、他の目的でChainerを使いたかったのでその練習にDQNを書いたんですが、せっかくだし公開しようと思いました 公開しました 。またどうせ公開するなら、この機会にこれ（Q学習+関数近似）関連で持っている知識をついでに整理しようと思ってまとめました。 ニュース記事とかNatureとかNIPSの論文だけ読むと、DQN作ったDeepmind/Googleすげー！！！って感覚になりそうですが、強化学習的な歴史的経緯を考えると強化学習+深層学習になった、むしろかなり当然の成り行きで生まれた技術であることがわかります。（ATARIのゲームを人間以上のパフォーマンスでプレイするというのがビジュアル的にわかりやすかった$\leftrightarrow$問題設定が良かったというのもあります。） この記事ではNIPSとNatureの以下の２本の論文 ・
「神経回路網はどのような働きをしているのか？」ということを解明するため、Googleが新たに開発した人工知能が「DeepDream」です。画像から少しでも見覚えのある物体を見つけ出し、それを再構成して出力するというものなのですが、実際に作られた画像が「悪夢のようだ」と話題となっており、ムービーが公開されたところ、ホラー映画どころではないとんでもない仕上がりになっていました。 Deep Dreaming Fear & Loathing in Las Vegas: the Great San Francisco Acid Wave - YouTube クラブのような場所で踊る人々。何か様子がおかしいと思いつつも映像を見ていると…… ぐにゃりと人が変形して動物が現れたり、心霊写真のようにあり得ない場所に人の顔が現れたりします。 エイリアンのような姿が並び…… 「パシフィック・リム」のギレルモ・デ
岡野原です。Deep Learningが各分野のコンペティションで優勝し話題になっています。Deep Learningは7、8段と深いニューラルネットを使う学習手法です。すでに、画像認識、音声認識、最も最近では化合物の活性予測で優勝したり、既存データ・セットでの最高精度を達成しています。以下に幾つか例をあげます。 画像認識 LSVRC 2012 [html] 優勝チームスライド [pdf], まとめスライド[pdf] Googleによる巨大なNeuralNetを利用した画像認識（猫認識として有名）[paper][slide][日本語解説] また、各分野のトップカンファレンスでDeep Learningのチュートリアルが行われ、サーベイ論文もいくつか出ました。おそらく来年以降こうした話が増えてくることが考えられます。 ICML 2012 [pdf] ACL 2012 [pdf] CVPR
Airbnbは、入ってくるあらゆる旅行関連データの活用をさらに推し進める2つの新プロジェクトをオープンソース化する。 新興企業ながら宿泊施設仲介サービスで成功しているAirbnbは、サンフランシスコで米国時間6月4日に開催したエンジニアリングサミット「OpenAir 2015」で、自社開発したデータマイニング製品のうち、「Airflow」と「Aerosolve」をオープンソース化すると発表した。 Airflowは、データパイプラインを規模に応じてタイムリーにオーサリング、スケジューリング、モニタリングするワークフロー管理プラットフォームで、過去数年間で爆発的に成長したAirbnbにとっては不可欠の存在だ。 Airbnbによると、Airflowは社内のデータエンジニアリングチームにとって、多くのプロセスを効率化する役に立っているという。 だが、Airbnbの秘められた仕組みを探っている外部の
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Amazon Web Services（AWS）は米国時間4月9日、初の機械学習製品となる「Amazon Machine Learning」を発表した。AWS開発者はこれを利用して、基幹系や運用系データから容易に価値を引き出すことができる。これにより、開発者は自分たちのデータから意味ある情報や予測を得るのに、外部の機械学習プラットフォームを利用する必要がなくなった。 Amazonの機械学習分野への進出は、IBMが先に発表した「Watson Analytics」やMicrosoftの「Azure Machine Learning」の発表に続くものとなる。3社のサービスはともに、開発者が機械学習のインテリジェンスを自分たちのアプリに組み込む
子どもから「なぜ？どうして？」という質問攻撃を受けて四苦八苦している親は多く、ついつい回答を放棄して子どもの成長の機会を逃してしまうことはよくあるものです。そんな「質問のプロ」に対する「回答のプロ」として、IBMの誇るスーパーコンピュータ「Watson」の頭脳を活用することで、あらゆる質問・疑問に答えまくってユーモラスな回答で子どもの心をがっちりつかみ、子どもの成長を強力にサポートしてくれる知育玩具が「CogniToys」です。 CogniToys: Internet-connected Smart Toys that Learn and Grow by Elemental Path — Kickstarter https://www.kickstarter.com/projects/522717158/cognitoys-internet-connected-smart-toys-tha
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
