第1 はじめに 自然言語処理技術の発展に伴い、自然言語AIを利用したサービスが大変盛り上がっています。 たとえば、検索、要約、翻訳、チャットボット、文章の自動生成、入力補完などのサービスで、近いところで有名なのは、2020年にOpenAIが発表した「GPT-3」ですかね。これは約45TBにおよぶ大規模なテキストデータを学習し、あたかも人間が書いたような文章を自動で生成することが可能な自然言語モデルです。 【参考リンク】 自然言語処理モデル「GPT-3」の紹介 進化が止まらない自然言語処理技術ですが、事業者が自然言語AIを利用したサービス（＊ここでは、データの処理がクラウド上で自動的に行われるサービスを前提とします）を提供する際に検討しなければならないことは、大きく分けると、学習済みモデルの構築フェーズの問題と、モデルを利用したサービス提供フェーズに関する問題に分かれます。 このうち、モデル
コーパスのつくり方 構築するコーパスの目的や用途により、つくり方はいろいろありますが、ここでは『現代日本語書き言葉均衡コーパス』を例につくり方を紹介します。 1. サンプリングの方法 コーパスに採録するサンプルは無作為に選ばれます。 例えば書籍の場合、1986年から2005年の間に出版された書籍を対象として、そこから無作為に約30,000サンプルを選び出しました。 実際にサンプリング作業を行うと、ある本のあるページのある文字が選ばれます。これをサンプリング点と言います。 コーパスには、サンプリング点を含む２種類のサンプルを格納します。 2. サンプルの作成 １）コーパスに採録する部分を確定します サンプリング点が決まったら、実際に採録するサンプルの範囲を確定します ２）著作権処理を行います 各サンプルについて、著作権処理を行います。使用許諾が得られなかったものは、採録されません。 ３. サ
データの構築手法について ウェブアーカイブの構築で用いられる Heritrix クローラを運用することで1年間にわたって3か月おきに、固定した約1億URLのウェブページを収集しました。 得られたウェブページはnwc-toolkitを用いて、日本語文抽出と正規化を行いました。 コピーサイトの問題を緩和するために、文単位の単一化（文の異なりをとること）を行いました。 形態素解析器MeCab-0.996 と形態素解析用辞書UniDic-2.1.2を用いて形態素解析を行い、 さらにUniDic 主辞規則に基づく係り受け解析器CaboCha-0.69により係り受け解析を行っています。 参考文献について 『国語研日本語ウェブコーパス』 国際論文誌： Masayuki Asahara, Kikuo Maekawa, Mizuho Imada, Sachi Kato, Hikari Konishi (20
「Yahoo! 知恵袋データ（第2版）」 国立情報学研究所がヤフー株式会社から提供を受けて研究者に提供しているデータセットです。 【お知らせ】 「Yahoo!知恵袋データ（第2版）」の利用申請は2018年10月31日をもって受付を終了いたしました。 現在提供中の「Yahoo!知恵袋データ（第3版）」については，こちらのページをご覧ください。 2018/10/31 現在 データ概要 「Yahoo!知恵袋」とは，質問したい人と回答したい人をむすび，知恵と知識を参加者同士で共有することを目的として，2004年4月からヤフー株式会社が提供している日本最大の知識検索サービスです。 本データは，「Yahoo!知恵袋」において下記の期間に解決済みとなった質問と回答を，ヤフー株式会社が「ヤフー知恵袋」のデータベースから抽出したものです。 期間：2004年4月－2009年4月 質問数：約1600万 回答数：
#結論 頒布義務があるようです。形態素解析用の単語辞書をご提供いただき、ありがとうございました。 #考察 キュレーションサービス（ニュースアプリ。Webコンテンツを集めてユーザーにオススメするサービス）は、Webコンテンツを分類する為に内部で辞書を持っています。その辞書をもとにコンテンツの文章を単語に分け、その単語群からそのコンテンツの特徴を把握します。この辞書はキュレーションサービスにとって、ビジネスの要であると言えます。なぜならば、正確に単語を分ける事ができるのならば、後は定番の機械学習アルゴリズム（ex.Complement Naive Bayes）にかけるだけである程度の精度の分類は行えるからです。先の辞書は秘伝のタレに比喩される事も多いです。 さて、その辞書ですが、世の中で最も多く使われているのはWikipediaのデータセットを元にしたものです。Wikipediaの記事のタイト
英語版記事を日本語へ機械翻訳したバージョン（Google翻訳）。 万が一翻訳の手がかりとして機械翻訳を用いた場合、翻訳者は必ず翻訳元原文を参照して機械翻訳の誤りを訂正し、正確な翻訳にしなければなりません。これが成されていない場合、記事は削除の方針G-3に基づき、削除される可能性があります。 信頼性が低いまたは低品質な文章を翻訳しないでください。もし可能ならば、文章を他言語版記事に示された文献で正しいかどうかを確認してください。 履歴継承を行うため、要約欄に翻訳元となった記事のページ名・版について記述する必要があります。記述方法については、Wikipedia:翻訳のガイドライン#要約欄への記入を参照ください。 翻訳後、{{翻訳告知|en|Corpus linguistics|…}}をノートに追加することもできます。 Wikipedia:翻訳のガイドラインに、より詳細な翻訳の手順・指針について
ホーム 現代日本語書き言葉均衡コーパス（BCCWJ） 概要 概要 Introduction to BCCWJ 『現代日本語書き言葉均衡コーパス』(BCCWJ)は、現代日本語の書き言葉の全体像を把握するために構築したコーパスであり、現在、日本語について入手可能な唯一の均衡コーパスです。書籍全般、雑誌全般、新聞、白書、ブログ、 ネット掲示板、教科書、法律などのジャンルにまたがって１億430万語のデータを格納しており、各ジャンルについて無作為にサンプルを抽出しています。 すべてのサンプルは長短ふたつの言語単位を用いて形態素解析されており、さら に文書構造に関するタグや精密な書誌情報も提供されています。著作権処理も施されていますので、安心して使っていただけます。 『現代日本語書き言葉均衡コーパス』はオンラインおよびDVDにて二通りの方法で公開しています。商業目的での利用をご希望の場合は、個別に検討
2020.06.01 有償版コーパスの契約及び問合せ対応を再開しました。... 2020.04.07 【重要】有償版コーパスの契約及び問合せ対応を一時停止します。再開は6月を予定しています。... 2018.01.17 『日本語話し言葉コーパス』第6刷の受付を開始しました。... 2017.02.15 検索アプリケーション『中納言』での一般公開を開始しました。... 2016.09.01 検索アプリケーション『中納言』での試験公開を開始しました。... 2016.06.22 『日本語話し言葉コーパス』第5刷の受付を開始しました。... 2015.05.27 『日本語話し言葉コーパス』第4刷の受付を開始しました。... 2015.01.16 【重要】CSJの利用申請受付を一時中断いたします。年度内に入手を希望される方は、1月30日（金）【必着】までにお申し込みください。... 2014.02
The Penn Treebank Project annotates naturally-occuring text for linguistic structure. Most notably, we produce skeletal parses showing rough syntactic and semantic information -- a bank of linguistic trees. We also annotate text with part-of-speech tags, and for the Switchboard corpus of telephone conversations, dysfluency annotation. We are located in the LINC Laboratory of the Computer and Infor
This article relies largely or entirely on a single source. Relevant discussion may be found on the talk page. Please help improve this article by introducing citations to additional sources. Find sources: "Bank of English" – news · newspapers · books · scholar · JSTOR (April 2018) The Bank of English (BoE) is a representative subset of the 4.5 billion words COBUILD corpus, a collection of English
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
