近年、生成AI分野で注目を集めている新技術「RAG（検索拡張生成：ラグ）」。従来のAIのように学習データだけに頼らず、外部情報を組み合わせて回答を生成できるため、ビジネスでの活用が期待されている。RAGの仕組みやメリット、ビジネスにおける活用例について、起業家・AIエンジニアの安野 貴博氏の解説と合わせて紹介する。 RAGとは何か RAG（読み方：ラグ）とは「Retrieval Augmented Generation」の略称で、自社だけに蓄積された社内情報や、外部の最新情報を、ChatGPTなどのLLM（大規模言語モデル）に取り込んで、回答させる技術のこと。 通常、LLMには「ナレッジのカットオフ」と呼ばれる問題がある。これは、そのLLMが特定の日時時点までの情報しか知らない（学習していない）、という問題のこと。知らないことは答えられなかったり、ハルシネーション（嘘）の答えを導き出すリス
はじめに こんにちは。GMOアドパートナーズ 24年新卒の嘉山です。Slackで社内規程や制度について質問できるRAG（Retrieval Augmented Generation）アプリ「tomoc（トモック）」を、新卒2人で開発しました。本プロジェクトが発足してからというもの、界隈のテック系の記事を眺めていると「RAG」系のテーマが大半を占めており、昨今のRAGの流行り方は尋常じゃありません。（※ 確証バイアス：自分がすでに持っている先入観や仮説を肯定するため、自分にとって都合のよい情報ばかりを集める傾向のこと。） そこで一度、プロジェクト発足からリリースまでの直近数ヶ月を振り返ってみると、実際に手を動かしてコーディングしていく時間と同じくらい、いやそれ以上に技術選定やシステム構成、UIのデザイン、分析フロー、データの運用方法といった、「設計」の部分に多くの時間を費やしてきたことに気が
Nov 19, 2024 BM25, or Best Match 25, is a widely used algorithm for full text search. It is the default in Lucene/Elasticsearch and SQLite, among others. Recently, it has become common to combine full text search and vector similarity search into "hybrid search". I wanted to understand how full text search works, and specifically BM25, so here is my attempt at understanding by re-explaining. Motiv
本記事では、「Adaptive-RAG」についてざっくり理解します。軽めの記事です。 株式会社ナレッジセンスでは普段の業務で、生成AIやRAGシステムを活用したサービスを開発しています。 この記事は何 この記事は、Adaptive系で現在、最も「コスパ」が良いとされる「Adaptive-RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー RAGの回答精度を高めるための手法です。韓国科学技術院（KAIST）の研究者らによって2024年3月に提案されました。「Adaptive-RAG」という手法を使うメリットは、ユーザーからの入力としてシンプルな質問・複雑な質問、どちらも想定される場合に、「そこまで遅くなりすぎずに、ある程度の回答精度がでる」という点
例外はたくさんあるのでこちらの表はあくまでも参考です。 バッチ更新の場合はcrontabやAirflow、Rundeckなどのワークフローエンジンが使えます。 一方、リアルタイム更新ではAWS KinesisやGCP pub/sub等を活用したり、Apache Beamなどを用いたりしてデータパイプラインを構築することがあります。 アイテムの特性と検索時のクエリ 検索対象となるアイテムの特性と検索する際にどのようなクエリが想定されるかを考えます。 全文検索エンジンを使っているので、基本的にはテキストにより表現されているとは思いますが、どのようなフィールドが存在するか、テキスト以外の検索項目などを洗い出します。 クエリに関しても基本は「キーワード」ですが、整理したアイテム情報に対してどのようなクエリで問い合わせが可能かを考えます。 システムとして「誰」が検索結果を取得するか、検索結果をどの程
運用コストを低く抑えつつ全文検索機能を実現したい: SQLite3 で全文検索を実現する fts5 、ベクトル検索を実現する sqlite-vss 2024-02-22 ドキュメント数が 1 万件に満たない状況で全文検索をしたいドキュメントは頻繁に更新はされずに日時の更新で十分オンラインでのインデキシングを考えなくてよいので、バッチで十分みたいな状態でポータビリティが高く運用コストが低い状態で全文検索を実現したいなと調べていたら SQLite3 が良さそうだったというお話。 全文検索を実現する拡張機能: https://www.sqlite.org/fts5.htmlfts5 から relevancy による order by が使えるようになったらしく、version 4 以前は、relevance をチューニングして改善するのは難しそうだなと思った。この拡張機能が作成された経緯としては
Teedyはさまざまな種類のファイルの中身を読み取って検索できる状態にしてくれるドキュメント整理ツールです。受信したメールを自動で取り込む設定もできるとのことなので、実際にセルフホストして使い勝手を確かめてみました。 sismics/docs: Lightweight document management system packed with all the features you can expect from big expensive solutions https://github.com/sismics/docs TeedyのインストールにDockerを利用するので、下記のリンクから自分の環境に合った方法でDockerをインストールします。 Install Docker Engine | Docker Documentation https://docs.docker.com
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
Thredot はスレッド形式でメモを書けるサービスです。 Google アカウントがあればログインできます。 こういうの Playground ページを用意しているので、気軽に使い心地を試してみてください。 Thredot のコンセプト Thredot はアイデアや情報をメモに書き出すハードルを限界まで下げることを目指しており、そのために様々な工夫をしています。 メモを整理させない 爆速な検索機能 公開範囲を設定できる WYSIWYG エディタを採用 メモを整理させない Thredot では徹底的にメモを整理させない方針を取っています。 僕は「整理するための機能が用意されていると整理をしたくなってしまう」人間です。 でも整理するのって超面倒くさいです。 ( 支離滅裂 ) 結局中途半端に整理しようとして余計にゴチャゴチャになり、最終的にメモを書くこと自体が億劫になってしまいます。 Thre
デモとして、このブログに Pagefind を導入してみました。ヘッダーの検索アイコンをクリックすると検索フォームが表示されるので、キーワードを入力して検索してみてください。 使い方 Pagefind は構築済みの UI ライブラリと、CLI コマンドとしてインデックスを作成するためのツールから構成されています。まずは UI ライブラリの部分から見てみましょう。 UI ライブラリ Pagefind の UI ライブラリは、検索フォームと検索結果を表示するためのコンポーネントから構成されています。この UI は以下のコードを追加するだけで簡単に利用できます。 <link href="/pagefind/pagefind-ui.css" rel="stylesheet" /> <script src="/pagefind/pagefind-ui.js"></script> <div id="s
ヘンリーの Lead Architect の kohii です。 先日、医療系の個人開発サービス MediXplorer を作ったので、簡単なサービス紹介と技術的に工夫したこととかについて書きます。 作ったもの MediXplorer は厚労省（もしくは社会保険診療報酬支払基金）から提供される 医科診療行為マスター を検索・閲覧するためのWebアプリケーションです。 医科診療行為マスターって？ 日本には診療報酬制度というものがあり、病院等が医療サービスを提供した際の医療費の計算ルールが定められています。このシステムのもと、医療機関は提供した医療行為ごとに決められた点数に基づき医療費を計算し、患者や保険組合に請求します。（初診料 = 288点 みたいなやつ。1点10円で、通常そのうちの3割を会計時に支払う。） 「医科診療行為マスター」は、これらの医療行為のデータベースの一つで、列数150、行
これは はてなエンジニアアドベントカレンダー2023 3日目の記事です。 はてなエンジニア Advent Calendar 2023 - Hatena Developer Blog はてなエンジニアのカレンダー | Advent Calendar 2023 - Qiita 昨日は id:pokutuna さんの blog.pokutuna.com でした。私も若い頃に同僚とGitHub上で白熱してしまい観光名所になってしまっていたような気がします。気を付けていきましょう。 さて、この記事では SQLiteでLinderaを使った日本語全文検索をする話を紹介します。 モチベーション laiso.hatenablog.com 上の記事でも話題になっているように個人開発ではDBのコストは問題です。同様に全文検索したいときにもコストに頭を悩ませているのではないでしょうか？ たとえば Amazon
はじめに こんにちは！ テラーノベルでサーバーサイドを担当している@yuhasです。 テラーノベルには作品や作家さんの検索機能があり、ユーザーさんの読みたい作品や興味のある作家さんを提示できる検索機能は重要な機能の一つです。 直近でその検索まわりを一新することになり、Cloud RunでElasticsearchを運用することになりました。 Cloud Runで運用することでオートスケールなど多くの恩恵を受けられる一方で、状態をもつElasticsearchをコンテナで動かしていくのは単純なことではありません。 今回はどのようにしてCloud RunでElasticsearchを運用しているのかをお話しできればと思います。 モチベーション もともと外部の検索サービス（SaaS）を利用して検索機能を提供していましたが、インフラ面でのコストを下げたいという話があり、代替手段を模索していました。
野菜を育て・販売する上で農薬（消毒）は欠かすことの出来ないものです。 研修時はスタッフの方から「今週はこんな症状が出たのでこれを使ってください」と何も考えなくとも病気を防ぐことができたのですが独立してからはそうはいきません・・・（当たり前）。 この半年、試行錯誤して思ったのは以下のようなことが実現できると楽なんだけどなということ。 症状から簡単に農薬を見つけたいできる限り農薬一つで複数の野菜の殺虫・殺菌を同時にすませたい（費用やオペレーションコストを考慮）同じものばかり使っていると効き目が悪くなるためローテションで何が使えるか把握したい収穫までに何回使えて、何日前まで消毒可能か容易に確認したい農薬が必要とはいえ、無機銅など身体に優しいものをできる限り使いたい GoogleスプレッドシートとGoogle Data Studioを連携して農薬検索サイトを作成 本業がIT屋なので実現しました。
テクノロジー ビジネス 【連載】西田宗千佳のネクストゲート 第26回 AIの力で「打倒Google」なるか。マイクロソフト「新しいBing」検索を試してみた 検索サービスで、マイクロソフトがGoogleに強いプレッシャーをかけ始めている。マイクロソフトは2月7日（現地時間）、検索エンジン「Bing」とウェブブラウザー「Edge」の大規模アップデートを発表した。中核となるのは、Open AIの大規模言語モデルを使った「チャット」「要約」などの機能だ。 新しいEdgeで、Open AIの技術を組み込んだ「新しいBing」へアクセス。申し込んだ人に向けて提供を順次公開中 現在マイクロソフトは、この新しいBingについて、ウェイティングリストへの登録後、順次利用者を拡大していく形を採っている。今後数週間で数千万人に、ということなので、それほど待たなくても使えるようになるかもしれない。 筆者も新しい
こんにちは。社内データサイエンスチームYAMALEXの@Ssk1029Takashiです。 最近はRTX4090のマシンを買って電気代が上がってきています。 昨今NLP界隈では事前学習モデルが出てからは、検索というのもキーワードでの検索だけではなく、文章を入力にして似たような文章を探す類似文書検索も使われるようになりました。 そんな中で、今回はFAQを対象にした類似文書検索をSentence BERTを使って試してみます。 FAQでよくある困りごと 今回やること Sentence BERTとは 検証 FAQデータセットから文章ベクトルを学習する 回答文から文章ベクトルを生成する 質問文から近しい回答を見つける 単語が揺れてもいい感じに回答を取得できるのか検証 まとめ FAQでよくある困りごと FAQはあらゆる場面で重要な情報源ですが、いまいち検索がしづらい情報でもあります。 FAQを利用し
この記事のあとに、Elastic Searchを交えた新たな記事を書きました。 AlgoliaからTypeSenseへ切り替えは可能か？ #FireStoreを使ってシステムを構築すると、検索機能の貧弱さに頭を抱えることになります。mySQLなどにある「Like検索」は前方一致で行うことは可能ですが、部分一致による検索はできません。 FireStoreの公式サイトでは、全文検索を実装するには外部のデータベースを使用するように案内しています。2021年7月時点では、外部のデータベースとして AlgoliaElastic SearchTypeSenseの3種類が案内されています。現在のNipoではAlgoliaを使って全文検索を実装していますが、実はAlgolia、小規模なプロジェクトでも結構高額になる料金体系のため予算に限りのあるプロダクトでは実装するのが非常に厳しいです。 特に料金形態が変
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
