背景 アドベントカレンダー用記事を書いていて、サイズが大きい自然言語処理ライブラリをLambdaで使う部分で技術的障壁が出てきている。そんな中、EFSにセットアップしたPythonライブラリをLambdaにimportする方法という記事を見つける。こちらの技術で要件が満たせそうなので試してみる。 関係する拙記事 背景で述べた技術的障壁を乗り越えるべく各種技術を検証した時の記事。 LambdaLayer用zipをCodeBuildでお手軽に作ってみる。 LambdaでDockerコンテナイメージ使えるってマジですか？（Python3でやってみる） GiNZA とは 形態素解析を始めとして各種自然言語処理が出来るpythonライブラリ。spaCyの機能をラップしてる（はず）なのでその機能は使える。形態素解析エンジンにSudachiを使用したりもしている。 前提 リソース群は基本CloudFor
はじめに この記事のターゲットは「文書要約やりたいけど、ゼロからサーベイするのはちょっとしんどい・・・」という人です。おそらく未来の自分ですね。これさえ読めば、2021年以降のサーベイだけでもランドスケープがぼんやりわかるぞってなるように書きました。 記事は全3部の構成です。第一部では時系列順に文書要約というタスクの歴史を辿っていきます。第二部では、第一部でぱらぱらと出てきた知識を体系的にまとめます。最後に第三部において、実際に要約モデルを動かしてみたいと思います。手を動かさないと理解するのは難しいので。 それでは、まずは文書要約の歴史を追いかけてみましょう。 第1部 文書要約の歴史 前ニューラル時代 (2000以前〜2014) → 抽象型要約の登場 (2015) → 抽象型要約の発展 （2016〜2018） → BERTの登場、そして抽出型要約の再流行 (2019) → BERTを超えた
吉川英治の「三国志」＠青空文庫をINPUTとして、 「自然言語処理」と「機械学習」によって上記のように、 武力や知力などのパラメータを推論する。 三国志小説の機械学習結果として、 １つの武将を５０次元ベクトルに変換し、そのベクトルを、 全く同じ「式」に入れて出てきた値が、上記の表。 このような方法：「小説(自然言語)」⇒「数値化」⇒「式」 によって、武力/知力を求めることが出来るか？ という実験＆研究が今回のテーマ。 他の成果としては、 以下のような武将名の「演算」が楽しめる。 （これも実際の出力結果より抜粋） 諸葛亮に近い人は誰？ ⇒ 姜維、司馬懿、陸遜、周瑜、魏延、馬謖 劉備にとっての関羽は、曹操にとって誰？ ⇒ 袁紹、張遼 ※若いころの馴染み的な意味や対比が多いので袁紹？ 孫権にとっての魯粛は、劉備にとって誰？ ⇒ 司馬徽（水鏡先生）、徐庶 ※賢者を紹介するポジションなのか？ 精度の
前回はテキストマイニングの手法と OSS を用いた実践について紹介しました。今回は、Google の T5(Text-to-Text Transfer Transformer) によるテキスト生成について、学習や推論のコード例と実験結果を交えてご紹介します。 1. はじめに 本記事では Google の T5(Text-to-Text Transfer Transformer) 1によるテキスト生成について、学習や推論のコード例と実験結果を交えてご紹介します。実験としては livedoor ニュースコーパス2での文章分類、やさしい日本語コーパス3及びやさしい日本語拡張コーパス4を用いたやさしい日本語変換を行いました。今回も Google Colaboratory で動かすことを想定したコードスニペットを入れていきますので、実際に動かしたり対象を変えてみたりして試して頂けると良いかと思います
はじめに Chrome拡張を作っている時にユーザが入力する任意の短文を適切に品詞分解したくなりました。 例えば「すもももももももものうち」という有名な短文があるがこれを品詞に分解すると 「すもも」「もも」などの名詞や「も」という助詞に分けることができます。 これを機械的に実現する方法として「形態素解析」が広く用いられていますが、Chrome拡張で実現するためにフロントだけでどうにかする方法は無いかと探していたらkuromoji.jsというライブラリを見つけました。 kuromoji.js https://github.com/takuyaa/kuromoji.js/ kuromoji https://www.atilika.com/ja/kuromoji/ 今回は、Chrome拡張への組み込みに少し苦労したので 誰でも簡単に組み込んでデモできるようになるまでの流れを作りたいと思います。 準
はじめに この記事はユニークビジョン株式会社 Advent Calendar 2020 6日目の記事です。 spaCyを使った先進的な自然言語処理 というWebサイトを読みましたので、文章の二項分類を試してみます。 spaCyについて 上記のページによると、「spaCyは産業応用向きの自然言語処理用Pythonライブラリです。」とのことです。 怒られそうですが、雑な説明を書きます。 一般的に、文章をソフトウェアで解析したいと考えた時に行うことには、以下のような工程があります。それぞれの工程の作業を行うためのライブラリも開発されてきました。 文字の正規化、その他前処理を行う → neologdn など 文章を単語に分解する(形態素解析) → MeCab、Sudachi など 単語の係り受けを解析する(依存関係の解析) → CaboCha など 単語を数値で表す(単語のベクトル化) → wor
「Ashley Madison（アシュレイ・マディソン）」という、カナダのサイトからユーザー情報が3200万人分漏洩した大事件。2015年7月に明らかになったハッカー事件だ。同サイトが、大人の浮気を仲介するサービスを提供していただけに、その被害は方々で個人的な問題を引き起こしているようだ。 しかし、もっと驚いたことにこのサイトでは、女性だと思われていたユーザーの多くが、実はソフトウエアで作られた会話ロボットだったのだ。男性を誘惑してサイトに登録させ、利用料金を巻き上げるために、会話ロボットが彼らの心を操作していた。何ともすごい時代になってきた。 そもそもAshley Madisonは女性のユーザーを獲得するのに苦労していたもようである。同サイトの利用料金は相手とチャットやメールを交わすごとに発生する仕組みなのだが、男性は有料、女性は無料という設定だった。 手作り偽女性ユーザーからロボットへ
関西大学外国語学部の教授として翻訳学を研究する山田優さんのインタビューです。 山田さんの研究テーマは「翻訳のプロセス研究」。人間が翻訳するとき、脳がどのように働いているのかを研究しているそうです。この研究の成果は、人工知能（AI）を搭載した最新の機械翻訳の開発にも役立てられるといいます。 実用化に向け、さらなる高みを目指して着々と開発が進んでいる機械翻訳。その現状はどのような段階なのか、また翻訳業界にどのような変化をもたらすのか、山田さんにお話をうかがいました。 機械翻訳は人工知能の時代へ突入 さらなる進化を目指す 機械翻訳の開発は、1950年代から60年代にかけて行われていたアメリカの国家プロジェクトが始まりだと言われています。米ソの冷戦時代、アメリカ国家がロシア語をすばやく解読するために機械翻訳を開発しようとしたのです。機械に文法を学ばせれば翻訳できるだろうという発想で、いわゆる「ルー
TL;DR TransformersのNERではFast Tokenizerを使うことで、サブトークン ↔ ラベルのアラインメントが実装できる。 長いテキスト入力については、無駄なpaddingを最小限にとどめて高速処理するために、入力を固定長分割するのが良い。 検出漏れが問題になるようであれば、ストライド付きのwindow処理を追加するのが良い。 サンプル実装: github.com 背景 この記事を目に留めていただいた方にはおそらくおなじみであろう Hugging Face の Transformers *1。 BERT等のTransformer素子ベース事前学習モデルを用いた転移学習が容易に実験できるライブラリである。 最新モデルのモジュールがすごいスピードで実装されることに加えて、事前学習モデルおよび依存するトークナイザが一緒に管理・ダウンロードできる点がご利益として特に大きい。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
