結果は以下。 $\mathrm{BERT_{BASE}}$および$\mathrm{BERT_{LARGE}}$いずれもそれまでのSoTAモデルであるOpenAI GPTをはるかに凌駕しており、平均で $\mathrm{BERT_{BASE}}$は4.5 %のゲイン、$\mathrm{BERT_{LARGE}}$は7.0%もゲイン が得られた。 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018) 1.4.2 SQuAD v1.1 SQuAD(Stanford Question Answering Dataset) v1.1[Rajpurkar (2016)]はQ&Aタスクで、質問文と答えを含む文章が渡され、答えがどこにあるかを予測す
What is an Algorithm?An algorithm is a set of rules that takes in one or more inputs, then performs inner calculations and data manipulations and returns an output or a set of outputs. In short, algorithms make life easy. From complex data manipulations and hashes, to simple arithmetic, algorithms follow a set of steps to produce a useful result. One example of an algorithm would be a simple funct
PDFの論文を翻訳する際に発生する改行やハイフネーションを取り除いて翻訳をかけられるWebアプリケーションです
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 発展を続ける「自然言語処理」技術。その中でも幅広く使用される深層学習モデルTransformerは、自然言語処理以外の音楽生成や物体検出などの領域でも適用できます。本ブログでは、 Transformerを時系列データに適用する方法をご紹介します。 こんにちは、AIソリューションサービス部の井出と申します。 この記事では、特に自然言語処理分野で幅広く使用される深層学習モデルTransformerを時系列データへ適用する方法に関してご紹介します。 以前の記事では、Transformerの構造や特徴などについて、自然言語処理分野の機械翻訳を例としてご紹介しております。はじめに、こちらの記事をご一読していただくことで、より本記事でご紹介する内容に対する理解が深まるかと思います。 Transform
人工知能を研究している非営利団体OpenAIが開発した言語モデル「GPT-3」を使用して、何者かが海外掲示板のRedditに1週間近く投稿を続けていたことが分かりました。GPT-3による投稿は、最終的に開発者の手によって停止されましたが、発覚するまでの間GPT-3は誰にも気付かれることなく、Redditユーザーと言葉を交わしていたと報じられています。 kmeme: GPT-3 Bot Posed as a Human on AskReddit for a Week https://www.kmeme.com/2020/10/gpt-3-bot-went-undetected-askreddit-for.html Someone let a GPT-3 bot loose on Reddit — it didn’t end well https://thenextweb.com/neural
著者の声を録画・録音して声を変換し元の映像と組み合わせてみた映像です。 このときの変換元の音声は撮影用のスマートフォンで録音しており、部屋の残響が含まれるなど声が少し不鮮明になる収録環境ですが、それでもしっかり声変換できていることがわかると思います。 概要Dwango Media Villageの廣芝です。誰の声でも狙った複数の人の声に変えることができる声変換システムを開発し、実際に声を変えることができるデモページを公開しました。この記事では、声変換技術を研究開発する際に取り組んだ課題について紹介します。 声変換声の変換技術には、リアルタイム性と品質のトレードオフがあります。既存の声変換システムはリアルタイム性を重視する傾向がある一方、品質を重視したものはあまり見かけません。品質を優先した声変換システムがあると応用の幅が広がると思い、研究開発に挑戦しました。 声変換を含む音声合成の品質は、
先日Quora日本語版でこんな回答を書いたのですが、ついでなので少し文脈情報を付け足してブログの方に再録することにしました。理由は単純で、このブログでディープラーニングの歴史についてまとめた記事を今まで書いてきたことがなく、そしてブログ記事にした方がより認識違いや調査不足などについての指摘をもらいやすいと思われたからです。ということで、以下の説明に関してツッコミがあれば是非コメント欄などにお寄せくださいm(_ _)m (A Neural Network Playground) ディープラーニングを語る上で、その前史であるパーセプトロン、そして（人工）ニューラルネットワークの話題は欠かせません。以下大まかに説明していきましょう。（※歴史解説中では敬称略、各種用語は原則カナ表記*1） パーセプトロンの登場 ミンスキーによる批判と第1の冬の時代 誤差逆伝播学習則と中間層を用いたニューラルネットワ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに ポケモンについて何となく知っている人向けの記事です（デジモンは知らなくてOK） ３月ごろにポケモンたかさおじさんが集計したアンケートの分析をお手伝いしたところ、アンケートの自由記述回答の6353件中、155件もデジモンについて言及するコメントがあった。 「デジモンと区別付かないよね」 「もはやポケモンじゃない…。デジモン…。昔のデザインに戻ってほしいなぁ…。。。」 「主観ですが、伝説のポケモンが角張った印象で、デジモンのような印象を受ける。」 「全体的に毛がなさそうなツルッとしたフォルムの子達が増えた気がします。デジモンっぽい
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
by WishItWas1984 全くプレイしたことがないゲームのプレイムービーを見た時に、頭の中で「自分がそのゲームをプレイするところ」を想像して、なんとなくプレイした気分になったことがある人もいるはず。それと同じように、AIに名作アクションゲーム「パックマン」のゲームプレイを視覚的に学習させることで、既存のゲームエンジンやコードを用意することなく、AIによるシミュレーションだけでパックマンを生成するという試みを、NVIDIAの研究チームが発表しました。 GameGAN https://nv-tlabs.github.io/gameGAN/ PAC-MAN Recreated with AI by NVIDIA Researchers | NVIDIA Blog https://blogs.nvidia.com/blog/2020/05/22/gamegan-research-pacma
ホクソエムサポーターの白井です。今回はICLR2020 の論文を紹介します。 The International Conference on Learning Representations (ICLR) は機械学習の中でも特に深層学習 を専門とした国際会議です。 OpenReview.net によるopen peer reviewを採用しているので、submitされた論文はだれでも閲覧可能です。(ICLR2020 open review) 2020年はエチオピアで開催予定でしたが、COVID-19の影響でvirtual conferenceとなりました。 今回はNLP系の論文について5本紹介します。 すでに日本語ブログ記事で紹介されているような論文もありますが、自分が興味を持った部分を中心としてざっくりと紹介したいと思います。 以降、とくに記載がない場合、図は論文またはブログからの引用で
「スマート」ガラスを通過する光線が、後方面（右端）で光エネルギー集中スポット・パターンを生成し、ディープラーニングにより手書き数字の識別が可能になる。 IMAGE COURTESY ZONGFU YU ウィスコンシン大学の研究チームが、電源や電子回路、センサーなどを必要としない「スマート」なガラスを用いた画像認識技術を考案した。サブ波長サイズの気泡や異相が多数配置されたガラス材料において、画像から発射された光が反射や回折、吸収を繰り返した後、ガラス後方面で一定の光エネルギー集中スポットを生じることを利用し、ディープラーニングを通じて画像認識を実現するというもので、研究成果は、2019年7月8日発行の『Photonics Research』誌8月号に掲載されている。 顔認識をはじめとして、人工知能ニューラルネットワークによる画像認識は、様々な分野で開発されている。画像認識におけるひとつの問題
2. １９４６： ＥＮＩＡＣ，高い計算能力 フォン・ノイマン「俺の次に頭の良い奴ができた」 １９５２： Ａ．Ｓａｍｕｅｌによるチェッカーズプログラム 機械学習と人工知能の歴史 2 １９５７：Ｐｅｒｃｅｐｔｒｏｎ，ニューラルネットワークの先駆け 第一次ニューラルネットワークブーム １９６３：線形サポートベクトルマシン １９８０年代：多層パーセプトロン，誤差逆伝搬， 畳み込みネット 第二次ニューラルネットワークブーム １９９２： 非線形サポートベクトルマシン （カーネル法） 統計的学習 線形モデルの限界 非凸性の問題 １９９６： スパース学習 （Lasso） ２００３： トピックモデル （LDA） ２０１２： Supervision （Alex-net） 第三次ニューラルネットワークブーム データの増加 ＋計算機の強化 １９６０年代前半： ＥＬＩＺＡ（イライザ）， 擬似心理療法士 １９８０年代
ディープラーニングを使った異常検知が進歩していますが、最新情報を追うのが大変です。 ここでは、最新情報をまとめておきます（随時更新）。 本稿では、以下の内容を記します。 ディープラーニングを使った異常検知について、簡単に歴史をまとめます。 最新の手法（2019年当時）について、ベンチマークを行います。 歴史 完全に独断と偏見で作った歴史です。 全ての論文は読めていないので、ご了承ください。 【～2017年】オートエンコーダによる異常検知 オートエンコーダによる異常検知 2、3年前はオートエンコーダによる異常検知が主流でした。オートエンコーダでは、元画像と再構築画像との差をとって、その和が大きいとき異常と認識させています。Qiitaの記事でも、オートエンコーダによる異常検知はたくさんありますので、気になる人は探してみてください。 Variational AutoEocoder（VAE）による
最近の物体検出 2019/05/30 1. 最近の物体検出 2019/05/30 2. お品書き •イントロ • 歴史の振り返り •最近の動向 • キーポイント系 • multi-scale対応 3. イントロ 4. https://twitter.com/RUSH1L/status/889963452143357952/photo/1https://www.youtube.com/watch?v=VOC3huqHrss 5. MegDet 詳細不明 (ensemble) 52.5 SNIP (R-FCN, DPN-98, DCN) (ensemble) 48.3 Mask R-CNN ResNeXt-152 32x8d CornerNet Hourglass-104 SNIPER (Faster R-CNN, R-101, DCN) NAS-FPN RetinaNet, AmoebaNe
2012年の画像認識コンペティションILSVRCにおけるAlexNetの登場以降，画像認識においては畳み込みニューラルネットワーク (CNN) を用いることがデファクトスタンダードとなった．CNNは画像分類だけではなく，セグメンテーションや物体検出など様々なタスクを解くためのベースネットワークとしても広く利用されてきている．本講演では，AlexNet以降の代表的なCNNの変遷を振り返るとともに，近年提案されている様々なCNNの改良手法についてサーベイを行い，それらを幾つかのアプローチに分類し，解説する．更に，実用上重要な高速化手法について、畳み込みの分解や枝刈り等の分類を行い，それぞれ解説を行う． Recent Advances in Convolutional Neural Networks and Accelerating DNNs 第21回ステアラボ人工知能セミナー講演資料 http
Deep learning and Machine learning hasn’t quite been the stronghold for Go! But, the enthusiasm for AI in the GO community has been growing. This fun-filled, illustration based article, talks about the fundamentals of Machine learning and sheds light on the state of Deep learning in Go. This is the Story of the “GO”KU and his quest to conquer Deep Learning! Introducing “Go”Ku! “GO”ku in the quest
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
