実世界の人工知能 〜交通，製造業，バイオヘルスケア〜
•
48 likes•15,815 views
Interop 2016での講演資料です。これまでの取り組みと，これからの展望を書いています．
![6
今後の機械学習/深層学習が必要とする計算リソース
1E〜～100E Flops
⾃自動運転⾞車車１台あたり1⽇日 1TB
10台〜～1000台, 100⽇日分の⾛走⾏行行データの学習
バイオ・ヘルスケア
⾳音声認識識 ロボット/ドローン
10P〜～ Flops
1万⼈人の5000時間分の⾳音声データ
⼈人⼯工的に⽣生成された10万時間の
⾳音声データを基に学習 [Baidu 2015]
100P 〜～ 1E Flops
⼀一⼈人あたりゲノム解析で約10M個のSNPs
100万⼈人で100PFlops、1億⼈人で1EFlops
10P（画像) 〜～ 10E（映像） Flops
学習データ：1億枚の画像 10000クラス分類
数千ノードで6ヶ⽉月 [Google 2015]
画像/
映像認識識
1E〜～100E Flops
1台あたり年間1TB
100万台〜～1億台から得られた
データで学習する場合
⾃自動運転
10PF 100EF100PF 1EF 10EF
P:Peta
E:Exa
F:Flops
機械学習、深層学習は学習データが大きいほど高精度になる
現在は人が生み出したデータが対象だが、今後は機械が生み出すデータが対象となる
各種推定値は1GBの学習データに対して1日で学習するためには
1TFlops必要だとして計算
学習を1⽇日で終わらせるのに必要な計算リソース](https://image.slidesharecdn.com/okanohara2016-160608102215/85/-6-320.jpg)
実世界の人工知能 〜交通，製造業，バイオヘルスケア〜
- 1. 実世界の⼈人⼯工知能 〜～交通、製造業、バイオヘルスケア〜～ 岡野原 ⼤大輔 [email protected] Preferred Networks, Inc. 2016/6/8 @Interop 2016
- 2. l Preferred Networksの事業領領域は⼤大きく三つ – IoT + ⼈人⼯工知能が⼤大きくインパクトを与える領領域にまずフォーカス l 交通 – ⾃自動運転とそれがもたらす⼈人流流と物流流の⼤大きな変⾰革 – 事故の無い世界、好きな時に好きな場所へ l 製造業 – 知能化ロボットによる製造の⼤大きな変⾰革 – ⽌止まらない⼯工場、変わり続ける⼯工場 l バイオヘルスケア – ⽣生体センサ、ゲノムデータ、診療療データによる 診察、診断の個⼈人化、⾼高度度化 – 病気にならない、治せなかった病気を直す 2
- 3. AutomotiveHumanoid Robot Preferred Networks は Industrial IoT に向けたAIを進める 3 Consumer Industrial Cloud Device PhotoGame Text Speech Infrastructure Factory Robot Automotive Healthcare Smart City Industry4.0 Industrial IoT
- 6. 6 今後の機械学習/深層学習が必要とする計算リソース 1E〜～100E Flops ⾃自動運転⾞車車１台あたり1⽇日 1TB 10台〜～1000台, 100⽇日分の⾛走⾏行行データの学習 バイオ・ヘルスケア ⾳音声認識識 ロボット/ドローン 10P〜～ Flops 1万⼈人の5000時間分の⾳音声データ ⼈人⼯工的に⽣生成された10万時間の ⾳音声データを基に学習 [Baidu 2015] 100P 〜～ 1E Flops ⼀一⼈人あたりゲノム解析で約10M個のSNPs 100万⼈人で100PFlops、1億⼈人で1EFlops 10P（画像) 〜～ 10E（映像） Flops 学習データ：1億枚の画像 10000クラス分類 数千ノードで6ヶ⽉月 [Google 2015] 画像/ 映像認識識 1E〜～100E Flops 1台あたり年間1TB 100万台〜～1億台から得られた データで学習する場合 ⾃自動運転 10PF 100EF100PF 1EF 10EF P:Peta E:Exa F:Flops 機械学習、深層学習は学習データが大きいほど高精度になる 現在は人が生み出したデータが対象だが、今後は機械が生み出すデータが対象となる 各種推定値は1GBの学習データに対して1日で学習するためには 1TFlops必要だとして計算 学習を1⽇日で終わらせるのに必要な計算リソース
- 7. 計算インフラの構築 l 機械が⽣生み出すデータを使った学習には桁違いの計算リソースが必要 l PFN独⾃自の計算インフラを構築中 – 2016年年度度中に 5ペタ Flops (半精度度）を⽬目指す – 参考：京コンピュータ 10ペタ Flops（倍精度度, 2012年年） Baidu Minwa 0.6ペタ Flops (2015年年) l これらの上で動作する分散機械学習も開発していく – 単に学習が速いだけではなく、⼤大きなモデルを使った学習も容易易にできるように – 現在スケール化に成功しているのはデータ配列列だが、 モデル分割した場合でもスケーラビリティがでるようにする l 機械学習専⽤用チップの開発にも取り組み中 – 2019年年頃に1エクサ DL ops, 1ペタ DL ops / チップを⽬目指す 7
- 9. 交通への⼈人⼯工知能 l 移動体の⾃自律律制御 + 全体最適化 – 各移動体は、より安全に、⾼高速に、快適に移動できるようになる – 全体として、移動体の稼働率率率、全体の⽬目標を⼤大きく向上させる l PFNは⾃自動⾞車車にかぎらず様々な分野で⾃自動運転技術の利利⽤用可能性を探っていく – 市街地における⾃自動運転よりも前に様々な分野で⾃自動運転技術は先に利利⽤用される l 最初に⾃自動運転が導⼊入されるのはコントロール可能な環境 – ⼯工場内、倉庫内、施設内、⼯工事現場内での移動体の制御 – （≒シミュレーション可能な環境、シミュレーション上で学習、検証可能） l 違う問題で同じ技術が使える（次項） – 学習対象を切切り替えるだけで同じアルゴリズムを使うことができる – ⾞車車、ドローン、フォークリフト、カート、船 9
- 10. 交通における⼈人⼯工知能の基本問題 1. 周辺空間の認識識 • カメラ、ライダー、GPS、超⾳音波、事前知識識（地図など）を組み 合わせ、関連障害物の状態を推定し、その⾏行行動を予測する 2. 機体の制御 • ルールベース、強化学習、最適化（制御理理論論）の組み合わせる • プランニング 3. システムの評価・検証 • 優れたシミュレーターが最重要。実地の検証には試⾏行行回数、安 全性の点で限界がある 4. 全体最適 • 中央制御 vs 分散制御 • 他のシステム（タクシー、物流流システム）とどうつなげるか
- 12. DIMoのソフトウェア構成 12/35 Industries (Partners)Industries (PFN-involved) SensorBeeTM: stream processing engine for IoT Machine learning Deep learning (Chainer) Auto Manufacturing Self-‐driving /ADAS Connected OpBmizaBon PredicBve maintenance Healthcare Drug discovery iPS cell Retail CRM Ad opBmizaBon Surveillance AnB-‐crime Tracking DeepIntelligence in-Motion(DIMo) StaBsBcs Tools Computer vision Detect/Track/ Recognize Reinforcement learning Distributed/ Curriculum Time-‐series RNN / RepresentaBon Sensor fusion MulB-‐modal AnnotaBon Hawk Feedback/AcBon Camera UI kanohi … Libraries Management 12フォグ機器 クラウドエッジ機器
- 13. ディープラーニングを⽤用いた⼿手法: 直接「正常度度合い」をモデル化してそこからのズレを計算 l ニューラルネットの利利点であるデータ特徴表現⼒力力を活⽤用 13 SensorBee™ モデル構築 DIMo SensorBee™ モデル適⽤用 DIMo ニューラルネット モデルテスト対象 (異異常かもしれない) 各時刻の異異常スコア 学習フェーズ テストフェーズ 個別の機械 正常状態 (初期)
- 14. DIMo 異異常検知機能の特徴 (1/2) l 正常なデータのみから異異常検知モデルを作ることができる – 故障データは必要ない，教師なし学習 – 異異常を検知後，実際の故障が発⽣生するタイミングを予測するには故障データが必要 l ⽣生の⾼高次元データをそのまま利利⽤用可能 – ⼈人間による特徴設計は必要ない．但し，あればそれも使った⽅方がよい – 特に周波数解析後のスペクトルや画像などがそのまま利利⽤用可能 l 正規化された異異常度度スコア（尤度度）を出⼒力力する – システムが正常だった場合に，そのセンサデータがどのぐらいの確率率率で観測される かを出⼒力力する。尤度度が低いということは正常ではない可能性が⾼高い l 複数センサを組み合わせた異異常検知が可能 – センサ間の相関をみて異異常を検知できる – センサの種類はばらばらでもよい 14
- 15. DIMo 異異常検知機能の特徴 (2/2) l 次元数や学習データ数に⽐比例例する計算量量で学習，テスト可能 – 数百万次元や，数百万データでも対応可能 – 従来⼿手法はデータ数に対して⼆二乗のオーダーでかかる場合や（例例：カーネル法）， 次元数に対して⼆二乗かかる場合があった（例例：全次元間の相関をそのままみる場合） – 搭載⼿手法は，全ての次元間の相関を考慮しつつ，効率率率的に処理理可能 l CPU, GPUで利利⽤用可能 – それぞれで最適化されたコードで動く – センサデータの次元数は画像に⽐比べて⼩小さいため，ディープラーニングを使うとい っても，画像認識識の場合に⽐比べて計算量量はかなり⼩小さい – 例例：1000次元のデータの場合，1データあたり1Mflop程度度の計算コスト 15
- 24. ディープラーニングによるがん診断の⾼高度度化 l 医療療の中でもゲノムによるがん診断にフォーカス – がんマーカー検出とフェーズの判定 – 治療療効果の予測と治療療⽅方法の提案 l ゲノム情報に基づくがん診断、及び、分⼦子標的薬の効果予測の⾼高度度化 – 従来の統計分析、機械学習では実現不不可能だった⼩小数サンプルからの推定 – パラメータ数に対してサンプル数が少ない問題（新NP問題） l ディープラーニングの利利⽤用によって⾒見見込まれる効果 – ディープラーニングは、半教師あり学習が可能である →教師無しデータを使ってゲノム情報の表現を獲得することによって、少量量のサン プル数からガン診断、治療療効果予測が可能になる。 – ディープラーニングは、⾼高次元データを扱える →⾮非常に⾼高次元で⼈人には特徴設計が困難なゲノム情報であっても扱える 24
- 25. ゲノム実験施設の⽴立立ち上げ l 都内にゲノム解析実験施設を⽴立立ち上げ l 次世代ゲノムシーケンサを導⼊入準備中 l ⾃自分たちでゲノム解析ができるように l ゲノムデータのみに注⽬目するのではなく、データを取る⼯工程でど のような改善ができるのかを調べる 25
- 26. 国⽴立立がん研究センターと 共同研究プロジェクトを開始 l 次世代がん分⼦子標的薬の創薬研究 l がん分⼦子標的薬の薬効予測 l オーダーメイドがん免疫療療法の開発 26
- 28. ディープラーニングによるがん診断の⾼高度度化 がん分⼦子標的薬の薬効予測 l がん細胞、⾮非がん細胞から得られたゲノム情報を利利⽤用した診断 – がんの存在診断 – がんの種類の特定 – 治療療⽅方針の決定、その場合の効果予測 l 国⽴立立がん研究センターとゲノム解析による⼤大腸がんに対する分⼦子標的 薬の効果予測法の開発を始める予定 – 従来の統計分析、機械学習では困難だった⼩小数サンプルからの推定 – パラメータ数に対してサンプル数が少ない問題（新NP問題） 28
- 29. オーダーメイド がん免疫療療法の研究開発 l 国⽴立立がん研究センターとオーダーメイドがん免疫療療法の共同研究を開始予定 l TCR遺伝⼦子導⼊入T細胞療療法を個別化がん免疫療療法に応⽤用 （国⽴立立がん研究センターが担当） – がん組織検体から、遺伝⼦子変異異由来抗原ペプチドとそれを認識識するTCRを同定 l 現在既に得られているがん組織のゲノム情報や過去の結果、あるいは今後得ら れるがん組織検体の情報から、がん抗原およびT細胞受容体予測システムを構築 する（弊社が担当） 29 Adoptive cell transfer as personalized immunotherapy for human cancer. Rosenberg SA, Restifo NP, Science 348:62-68 (2015)
- 30. まとめ l 実世界で⼈人⼯工知能が使われる世界へ向けての取り組みを紹介した – 計算インフラ：機械が⽣生み出すデータを処理理可能な計算インフラ – 交通：⾃自動⾞車車だけではなく、様々な領領域で，⾃自律律制御，全体最適化を実現 – 製造業：異異常検知, 予測を様々な分野に適⽤用していく – バイオ・ヘルスケア：ゲノム解析+がんに注⽬目、実験施設⽴立立ち上げ l 実証実験を進め、いくつかは製品化（DIMo）が進んでいる l 新しい領領域に取り組む – ⾃自動運転技術の⾃自動⾞車車以外への応⽤用展開 – 国⽴立立がんセンターとの共同研究 – 異異常検知にならぶ⼤大きなアプリケーション「⾃自動最適化」に取り組む 30