これは「FOLIO Advent Calendar 2023」6日目の記事です。 ニューラルネットワークで取り扱う数値を実数とは異なる数に拡張することは、機械学習や計算科学の発展における魅力的な課題の一つです。実数を用いた数値表現は多くのタスクにおいて十分な結果をもたらしてきましたが、新たな数値体系を導入することで、今までとは異なる問題が解決できるようになったり実数では見られなかった新たな現象が起こる可能性に期待することができるでしょう。例えば数値が取れる値を±1に制限したBinalized Neural Networksはハードウェアとの相性が良くメモリ効率の良い実装が可能であったり、拡大実数\bar{\mathbb R}={\mathbb R}\cup\{-\infty,\infty\}を用いた5層のReLUネットワークには任意の深さのReLUネットワークを埋め込むことができたりします
先日、革新的な画像の異常検知（SAA）が出てきました。 何やら革命的な臭いがする... SAMを使った異常検知手法https://t.co/wmwFcbULdq コードはこちらhttps://t.co/3npK3FhnEz pic.twitter.com/JDs30bEJyQ — shinmura0 (@shinmura0) May 22, 2023 本稿では、操作手順 & 触ってみた感想をご報告します。 特長 本題に入る前に、どこら辺が革新的なのかざっくり説明します。 ※ SAAの詳細は論文をご参照ください。 学習データは不要 通常、学習（正常）データを数百枚用意しますが、この手法では正常データを必要としません。 ドメイン知識を導入できる 予め、異常の傾向をプロンプトに入れることにより、異常の特徴をモデルに教えることができます。 二点目が特に大きく、今までの異常検知では、積極的に異常の傾
はじめまして。損害保険ジャパン株式会社 DX推進部の眞方です。普段はリードエンジニアとして、新しいサービスのアーキテクチャ検討からローンチまでの作業や、新規技術を用いたアプリのプロトタイプ実装などを行なっています。 弊社では、LLM（Large Language Models）を活用したアプリケーションの開発を積極的に検討し、既に社内でいくつかのプロトタイプをローンチしています。 本記事では、その最も一般的？なユースケースの一つとも言えるRAG（Retrieval Augmented Generative）の構築において、ドキュメント検索精度の向上にどのように取り組んだ内容の概要を紹介させていただきます。実際の詳細な手法および結果については、別記事（実践編）で解説予定です。 はじめに RAGとは？ この記事を読まれている方の中にはご存知の方も多いでしょうが、RAGとはRetrieval A
Please note that both Megatron-LM and DeepSpeed have Pipeline Parallelism and BF16 Optimizer implementations, but we used the ones from DeepSpeed as they are integrated with ZeRO. Megatron-DeepSpeed implements 3D Parallelism to allow huge models to train in a very efficient way. Let’s briefly discuss the 3D components. DataParallel (DP) - the same setup is replicated multiple times, and each being
はじめまして。ABEJAでリサーチャーをやっている藤本です。 今年もCVPRの季節がやってきました。CVPRとはコンピュータビジョンに関するトップカンファレンスです。毎年規模が大きくなってきており、今年は3300の論文投稿があり、979件がacceptされました。また、21のチュートリアル、48のワークショップ、115以上の企業展示と様々なイベントが行われています。今年度のCVPR2018の開催は6月なのですが、プログラム自体は４月に公開済みですので、今回のブログの記事では、オーラル発表予定の論文のうちarxivで公開されている内容について一気に紹介します。 論文の動向 Deep learningについて Deep Learningに関連する論文は毎年増え続けており、今年度についてはacceptされた論文979件のうちarxivで459件が公開されており、なんと424件（頑張って数えました
【随時更新】pyenv + Anaconda (Ubuntu 16.04 LTS) で機械学習のPython開発環境をオールインワンで整える 筆者の機械学習系のPython開発環境は、Vagrant を用いた Ubuntu (16.04 LTS) 上に構築しています。 ここでは、画像認識、音声認識、自然言語処理などに必要な環境をオールインワンで構築する手順をまとめます。 (最終更新日: 2016/11/14) OSバージョン OSバージョンは下記の通りです。 $ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=16.04 DISTRIB_CODENAME=xenial DISTRIB_DESCRIPTION="Ubuntu 16.04.1 LTS" $ uname -a Linux vagrant 4.4.0-31-generi
一般物体検出アルゴリズムの紹介 今回CNNを用いた一般物体検出アルゴリズムの有名な論文を順を追って説明します。 コンピュータビジョンの分野において、一般物体検出とは下記の図のように、ある画像の中から定められた物体の位置とカテゴリー(クラス)を検出することを指します。 [6]より引用 Deep Learningアルゴリズムの発展によって、一般物体認識の精度は目まぐるしい勢いで進歩しております。 そこで今回はDeep Learning(CNN)を応用した、一般物体検出アルゴリズムの有名な論文を説明したいと思います。 R-CNN (Regions with CNN features) (CVPR 2014) [1] かの有名なCNNの論文[8]で、ILSVRC 2012の物体認識チャレンジで大差をつけて1位になりました。 このチャレンジでは1枚の画像が1000クラスのうちどれに属するかを推定する
ラーメン二郎をディープラーニングで判定!? ラーメンフリークではなくても、「ラーメン二郎」の名前を耳にしたことは、一度くらいはあるだろう。濃厚な豚ベースのスープと極太麺が織りなす力強い味、丼からあふれんばかりの豪快な盛りつけを愛するラーメン二郎ファンは、「ジロリアン」と呼ばれ、関東を中心に40ある店舗（2017年11月現在）の前に今日も列をなしているはずだ。 そんな熱狂的なファンを擁するラーメン二郎は、いわゆる本部統制型の飲食チェーン店ではない。そのため内装や製法、具材、味、盛り付けが店舗ごとに異なる。こうした各店の違いや個性に目をつけ、ディープラーニングでどの店舗のラーメンかを画像で見分けるモデルを開発した人物がいる。NTTコムウェアで道路の不具合検知システムの技術開発に携わっている土井賢治さんだ。 ギーク仲間にウケたい一心で開発に着手 NTTコムウェア株式会社 ビジネスインキュベーショ
ヤフーは11月15日、数十万の選択肢の中から適切な解を、世界最速・高精度に予測するという機械学習技術「AnnexML」（アネックスエムエル）を開発し、オープンソースソフト（OSS）としてGitHubに公開した。 ユーザーのサービス利用情報などビッグデータと、そのユーザーがクリックした広告などの数十万の選択肢との組み合わせを効率的に学習でき、「サービス利用情報のあるユーザーに対して、どの広告がクリックされやすいか」といった有力な候補の組み合わせを世界最速・高精度に予測するという。 テキストや画像、商品データ、ユーザーデータなど、複数の特徴を持つ高次元データを、大量のデータベースの中から高速に検索・特定できる技術「NGT」（OSSで公開済み）も活用。項目数を数十に圧縮したビッグデータをグラフ構造に整理・学習することで、高い予測精度と高速化を両立させた。 同種のビッグデータ分類技術と比較したとこ
Update! (2nd December 2019)I’ve just released a series on MuZero — AlphaZero’s younger and cooler brother. Check it out 👇 How to Build Your Own MuZero Using Python (Part 1/3) How to Build Your Own MuZero Using Python (Part 2/3) How to Build Your Own MuZero Using Python (Part 3/3) Update! (26th January 2018)I’ve just released a post on how you can build AlphaZero using Python and Keras. Check it o
Google傘下のDeepMindは米国時間10月18日、囲碁AI「AlphaGo」をさらに進化させた「AlphaGo Zero」を発表した。新たな学習方法により短時間で進化し、わずか3日間の学習で100対0という圧倒的な差で従来のAlphaGoを破るに至ったという。 AlphaGoは2016年、トップ棋士の1人である李世ドル氏に勝利したことで話題となり、2017年5月には「世界最強」とされる中国の囲碁棋士、柯潔氏に3連勝した後、囲碁対局から引退していた。AlphaGoはその後も進化しており、さらに強力となった「Master」バージョンが存在しているが、AlphaGo Zeroは40日後にこのバージョンも追い抜いたという。 DeepMindによると、従来のAlphaGoは、まずアマチュアやプロの棋士による何千もの対局を基に訓練され、囲碁の打ち方を学習する。AlphaGo Zeroはこの手順
【追記】2/19全講座修了しました！ https://www.deeplearning.ai/ Andrew Ng先生のディープラーニング専門講座 deeplearning.ai を受講したメモ。久々のCoursera！ Neural Networks and Deep Learning Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization Structuring Machine Learning Projects Convolutional Neural Networks Sequence Models Courseraの中でもこの講義は Specialization という枠組みで、基本有料（月$49.00；講義ビデオを視聴するだけで課題なしCertificateなし
メモ用記事 Gumbel Softmaxの論文 活性化関数 中間層の活性化関数 出力層での活性化関数 良いらしい Gumbel Softmaxの論文 論文は以下にあります。 [1611.01144] Categorical Reparameterization with Gumbel-Softmax 活性化関数 中間層の活性化関数 中間層での活性化関数は、通常はシグモイド関数やReLUなどが用いられます。 中間層での活性化関数は基本的に好きなものを用いればよく、データをよく表現できれば何でも良いです。言い換えれば、これが良いというものを決めることは難しいです。 通常はReLUが高精度を達成できると言われています（暗にスパース性を持たせることができる）。 出力層での活性化関数 出力層での活性化関数は、問題に応じてある程度決められています。 回帰ならば恒等写像 1ユニットを用いた二値分類ならば
概要 現在の日付を$T$とすると、$T+1$から$T+30$までにおける日次価格の単純移動平均をDeepLearningを使って予測し、 ロングポジションを持った（もしくはショート）時の価格より、予測した移動平均を上(下)回れば利益確定するようなシミュレーション売買を行いました。また、３０日保持したら強制的に手仕舞いするようにします。 エントリーは日時毎に残高があれば全力で行うようにします。 ※オレンジのラインが30日後の30日単純移動平均になります。緑がx軸の日付時点における為替価格です。 使用したDLフレームワーク chainer ver1.3~1.5 ちょうどver1.5で互換性が大幅に変更になって、対応するのが大変でした。 2017/8現在はver2.0.2になっているみたいですね。 使用データ みずほヒストリカルデータ https://www.mizuhobank.co.jp/r
Recurrent Neural Networksとは何か RNNの応用事例 機械翻訳 音声認識 画像の概要生成 説明文からの画像生成 知っておくと便利なRNNの種類と進化 Simple RNN LSTM GRU Bi-directional RNN Attention RNN Quasi-Recurrent Neural Network TensorFlowによるRNNの実装 まとめ 参考文献 人間は、目の前で起きた出来事から、次に起こりそうな出来事を予測しながら文脈を読んで判断を下すことができます。例えば、車を運転している際に歩行者が飛び出しそうだと思えば、十分な間隔を置いて走行することが出来るでしょう。 また、現実世界は時間の制約を受ける事象はたくさんあります。アニメーションなどのストーリーでは、前回の文脈を前提として次の展開が進んでいきます。 Recurrent Neural Ne
TensorBoardの主要機能 折れ線グラフ 画像 音声 ヒストグラム 計算グラフ 次元削減のプロット TensorBoardの読み方 シンボルの意味 name scopeとnode グラフの色 Structure View Device View 計算時間・メモリ テンソルの次元数 Summary Operation scalar histogram image audio 可視化してみる ハイパーパラメータの探索 Embedding Visualization メタデータファイルの作り方 スプライト画像の作り方 ラベルによる色分け t-SNEとPCA まとめ TensorFlowの優れた機能として、TensorBoardによる充実した可視化環境が挙げられます。TensorBoardがあれば、ニューラルネットワークの学習が上手くいかないときに、俯瞰してネットワークを表示したり、様々なデ
本稿ではニューラルネットワーク，誤差逆伝播法，言語モデル，RNN，LSTM，ニューラル機械翻訳の一連の手法について数理的に解説する． 前編の目次 ニューラルネットワーク 順伝播 (Forwardpropagation) 逆伝播 (Backpropagation) リカレントニューラルネットワーク (RNN) Recurrent Neural Network Language Model (RNNLM) Backpropagation Through Time (BPTT) Long Short-Term Memory (LSTM) Gated Recurrent Unit (GRU) RNN のドロップアウトとバッチ正規化 ニューラル機械翻訳 (NMT) Sequence to Sequence (seq2seq) 注意 (Attention) 双方向エンコーダー・多層LSTM 評価手法
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ロボットから自動運転車、はては囲碁・将棋といったゲームまで、昨今多くの「AI」が世間をにぎわせています。 その中のキーワードとして、「強化学習」というものがあります。そうした意味では、数ある機械学習の手法の中で最も注目されている(そして誇張されている・・・)手法ともいえるかもしれません。 今回はその強化学習という手法について、基礎から最近目覚ましい精度を出しているDeep Q-learning(いわゆるドキュン、DQNです)まで、その発展の流れと仕組みについて解説をしていきたいと思います。 本記事の内容をベースに、ハンズオンイベントを開
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
