言語処理技術。言語学の形態論と関係があり、ある文章に対して文を構成する最小の意味単位である形態素に分解する作業のことを指す。 フリーで入手できる形態素解析ツール
こんちゃ！だみーです今回は大学の時に勉強して感動した、自然言語処理についてはなしていきます 🧠 自然言語処理（NLP）とは？ 🧩 形態素解析 🧩 形態素解析とは？ 🔧 日本語の形態素解析ツール 🔁 自然言語処理の一般的なフロー 📝 1. データ入力（テキストの取得） 🧩 2. 形態素解析（分かち書き・品詞付与） 🔧 3. 構文解析（係り受け解析） 🔍 4. 意味解析（語義の解釈） 🧭 5. 文脈解析（より長い文・会話の意味理解） 🧼 基本的なデータ前処理 🧼 ① 形態素解析 🧹 ② データクレンジング（ノイズ除去） 🧮 ③ Bag-of-Words（BoW） 📊 ④ TF-IDF（Term F…
こんにちは、にょろりんこの備忘録的技術ブログです。 今回は、Pythonで作る形態素解析API構築シリーズの第2回 をお届けします。 前回の記事では、SudachiPyをFlaskと組み合わせ、POSTでテキストを送信すると名詞や動詞、形容詞などの基本トークンを返す最小構成API を作成しました。 www.n-rinko.com これだけでも、検索クエリ生成やタグ付け処理の基盤として十分活用できますが、実際の運用では以下のような機能が欲しくなってきます。 名詞だけでなく、複合語（例：癒し系彼女）や文節単位のフレーズも抽出したい 名詞同士や英単語同士のバイグラム（2単語連結）を生成したい 動詞・…
こんにちは、にょろりんこの備忘録的技術ブログです。 今回のテーマは形態素解析です。 日本語テキストを扱うなら必ず通るこの処理は、検索クエリのタグ生成といった、自然言語処理全般で欠かせないステップです。 日傘をさすティアラ 私が運営しているAV検索エンジン「SaePorns」でも、毎日数千件単位のアダルト動画の日本語タイトルを分割しています。そんな中で求められるのは、「速くて安定して動く解析API」。今回は、そのために私が選んだ組み合わせ──SudachiPy × Flask──で、形態素解析APIサーバーを最速構築する方法を紹介します。 この記事を読むことで、 SudachiPyをFlask …
こんにちは、にょろりんこの技術備忘録ブログです。 今回は、前回の「MythoMaxでキャッチコピー生成」編で得られた日本語タイトルを、さらに検索性の高い語句に分解していく第3ステップ──「形態素解析」編です。 今日の私は言語学者です。 AIが画像から文章をつくる（BLIP） 英語キャプションを日本語に翻訳（MythoMax） 形態素解析で語句を抽出（SudachiPy）←今回のテーマ１ フィルタ＆整形して、検索タグとして格納←今回のテーマ２ ティアラ_手を振る タイトルは自然でも、「そのまま検索語」には向かない MythoMaxで得られる出力は、たしかに自然な日本語の一文です。 しかし、たとえ…
外文题目： 形態論に基づく日本語辞書アプリのインデックス設計 要旨 辞書アプリは、紙の辞書に比べてより柔軟な検索方法を提供している。これらの便利な検索機能は、主にコンピュータによるデータベース検索の特徴を活かし、紙の辞書の索引を基に、辞書アプリのインデックスを修正・補強したものである。 本論文では、まず日本語辞書アプリでよく使われる検索方法をまとめ、特に近年登場した「修正検索」機能に焦点を当てて分析した。この検索方法は、ユーザーが入力した内容を事前処理し、語形変化や接辞を自動認識・除去して、対象語の原形または標準形に戻す。現在、多くの日本語辞書アプリでは、形態論理論に基づき、研究・分析・抽象化…
はじめに この記事は UEC Advent Calendar 2023 10日目になります。 9日目はへるくんさんの「免許合宿に行きました」でした。 helkun.dev さらに、免許取得したら色んな場所に行きやすくなり、フットワークが軽くなります。世界は広いと実感させられます。 これはかなり真で、普通自動車を運転できることで人類が到達可能な陸地の99%に行けるようになり、さらに限界旅行の手段が格段に増えることが一般に知られている。したがって人類は軽率に普通運転免許を取得し、努めて移動などをするべきです。 また、 UEC 2 Advent Calendar 2023 9日目の記事はこうくんの「…
ElasticSearchを触っていて、形態素解析について基本的なことを知りたかったので、『はじめての自然言語処理』を読んだ。形態素解析については3章に書かれている。基本的なことがまとまっていてよかった。 初心者向けの本なので、以下のような基本的なことから説明されいた。 形態素解析とは、文を形態素と呼ばれる塊ごとに分割することである。日本語においては形態素はほぼ単語のことである。また、形態素解析では分割された形態素（単語）がどの品詞なのかということも判定する。 形態素解析は辞書を使う。形態素解析で使う辞書とは、人間用の辞書ではなく、単語の表記・活用形・品詞・活用形などの情報を持つデータセットで…
ChatGPTに、任意の文章に対して指定した単語がいくつ含まれるかをカウントして、結果を出力するPythonモジュールを書いてもらいました。 指示文(プロンプト): 以下の仕様に沿ったPythonモジュールを書いてほしいです。 仕様:入力したテキストを形態素解析して、あらかじめ指定しておいた単語リストに含まれる単語がいくつ含まれるかをカウントする。カウント結果は、「単語名:カウント数」というフォーマットで標準出力する。単語リストは、別途、テキストファイルで用意しておく。テキストファイルは1行に1単語を記載したものとする。単語リストの名称は wordlist.txt としたい。 このモジュールを…
Azure OpenAIではGPT系の自然言語処理モデルを使用してさまざまなタスクを処理することができます。 APIを使用するために料金が発生しますが、リクエストごとにどの程度の料金が発生するのかを知る必要があります。またモデル毎の上限トークンを考慮してアプリを設計する必要があります。 本記事ではトークンの考え方と計算方法について解説します。 概要 トークンとは？ 実際に消費されるトークン数は？ トークンを計算する ブラウザから計算する プログラム上で計算する tiktoken GPT2TokenizerFast その他 トークン消費数の例 結論 おわりに 概要 Azure OpenAI Se…
最近業務でAWSを触ることが多く、その中で形態素解析をする機会があったので、その際の内容を備忘録として残しておきます。 やったこと 手順 手順詳細 参考 やったこと AWSのサービスを使い、ファイルがS3に置かれたら自動で形態素解析ができるようなシステムを作る サービスとして、今回はLambdaを採用した 形態素解析ツールとしてMeCabを利用する 手順 今回実装した大まかな手順は以下になります EC2インスタンスを作成し、SSH接続をする EC2インスタンス上にDockerとAWS CLIをインストールする EC2インスタンス上でDockerfile、requirements.txt、lam…
