今日は奥様とタイ料理&タイ式マッサージの日でした。マッサージはちょっと素晴らしいなあ。 表題のように、全文検索エンジンをGAE上で試作してみました。GAEはGoogle様提供のサービスにもかかわらず「なんで全文検索機能がないねん」という声が上がっていたんですよね。主にtwitter界隈から。 「Introduction to Information Retrieval」という本のドラフトPDFと、たつをさんのところのIIR輪講の資料を参考に作りました。つっても、第1章の一部の知識しか使ってないですが。論理和検索もスキップリストも使ってないし(論理和検索はクエリ式のパーサを書くのが面倒だった)。 import logging import re from urllib import urlencode import wsgiref.handlers from google.appengine
形態素解析を使用した、組み込み型の日本語全文検索です。 この textsearch-ja プロジェクトは PostgreSQL コミュニティによる pgFoundry の中のプロジェクトです。 ダウンロード : ソースコードのほか、Windows 用バイナリもダウンロードできます。 バグレポート メーリングリスト への参加 概要 日本語テキストの全文検索を行います。 PostgreSQL 8.3 で追加された組み込みテキスト検索を拡張するため、 英語文書の検索と同様の方法で、日本語文書を検索することができます。 検索は形態素解析を利用した単語単位で行われます。 形態素解析には MeCab を使用しています。 利点として、GIN または GiST インデックスをベースにしているため、全文検索用のインデックスがリカバリ可能であることが挙げられます。 また、既に tsea
こんにちは 。 検索 関連 を 担当 して いる やましー です 。 今回は livedoor で提供しているサービスの中の「検索関連」について書きます。 このブログでも過去に何度か取り上げられていますが、livedoor では検索エンジンとして HyperEstraier、lucene、mysql + senna、Namazu、SUFARY などを利用しています。 その中で lucene の利用方法や機能拡張について説明します。 lucene とは Apache Lucene は、Java で書かれた高性能で高機能な検索エンジンライブラリです。全文検索を（特にクロスプラットフォームで）必要とするほとんどのアプリケーションに適している技術です。※ 公式サイトから抜粋 インデックスの作成 lucene は転置インデックス型の検索エンジンなので、ドキュメントを検索するには、まずインデックスの作
Tritonn、Ludia、そしてSennaとは…… 昨今のWeb 2.0と呼ばれるようなWebシステムでは、一般的に大量のコンテンツデータを内部に保有しているのではないでしょうか。大量のコンテンツから目的のコンテンツをユーザが選び取る手段の一つとして全文検索が挙げられます。全文検索とは、検索対象コンテンツの中身すべてに対して検索を行うことを指します。たとえば、タグやタイトルを対象にした検索だけでは、目的のコンテンツを発見できないような場合に有効な検索です。 データベースに保持された大量のデータを簡単に全文検索したい、という場合も多いことでしょう。本稿では、それを実現にする全文検索システムとして、次の2つを取り上げて紹介します。 Tritonn Ludia これらはそれぞれ、Tritonnは「MySQL」、Ludiaは「PostgreSQL」という、Webシステムを開発する上で人気の高
身近な改善の第一歩！ ニューノーマルな働き方を前提にした これからの時代のWi-Fi環境構築のポイント 高まるゼロトラストの気運 妥協のない安全のために適材適所で組合せ トップ4社によるゼロトラストセキュリティ デジタル時代のITインフラ構築術 仮想化統合、クラウドを経て今「マルチ」へ ITインフラの最適化と継続的進化への道筋 コンテナをエンプラITに！ コンテナ活用の基礎 本番実装が増える背景とメリット 今を知り、未来を見据える 培ってきたノウハウを最新技術へ対応させる レガシーシステムのモダン化実現への道 自社利用の知見・経験を顧客に提供 コンテナ活用を推進する日立製作所 VMware Tanzuを利用したモダナイズを伝授 セキュリティモデルは変わった！ クラウド活用、リモートワークはあたりまえ いま求められるゼロトラスト実現のために 単純なインフラ製品の販売ではない DX、コンテナプ
オープンソース・ソリューション・テクノロジ(OSSテクノロジ)はオープンソースの全文検索システム「Chimera Search（キメラ・サーチ）」を発表した。Windowsのアクセス権に対応し，権限のないファイルは検索結果に表示されないことが特徴。2007年12月中に販売開始するとともに，GPLv2に基づきソースコードも公開する。 WindowsのほかSambaが稼働しているUNIX，Linux，MacOS，SMBプロトコルまたはCIFSプロトコルをサポートしたNAS上のファイルを，アクセス権限に従って検査しインデックスを作成する。対象となるファイルの種類はWord，Excel，PowerPoint，OpenDocument(OpenOffice.org, Sun StarSuite)，PDF，HTML，テキスト。 平林幹夫氏が開発したオープンソースの全文検索エンジン「Hyper Estr
第２回：全文検索機能を試すサンプルを作成しよう！ 著者：ロンウイット 関口 宏司 2007/11/20 今回は早速、Hibernate Searchを使ったプログラムを作成してみよう。 作成するプログラムはある会社で使われる社員検索システムとする。このシステムでは、社員が相互に趣味や得意分野などの「タグ」をつけられるようになっており、検索時は「タグ」で社員を検索できるようにする、というものである。また今回のサンプルアプリケーションでは、アプリケーションサーバを利用せずにスタンドアロンのJavaアプリケーションとして実装している。 このシステムでは図1のようなEmployeeクラスを用いることとし、永続化はJBoss Hibernateを通じてEMPLOYEEテーブルに行うものとする。 以降では、プログラムコードの一部を掲載しながら説明してく。プログラムの全体および必要なライ
本連載では、Hibernate Searchによる全文検索システムの構築について解説していく。 Hibernate Searchとは、JBoss Hibernateのフレームワークから透過的に全文検索の機能を利用できるようにしたJBoss Hibernateへのアドオン・コンポーネントである。「透過的」な全文検索機能へのアクセスにはJBoss HibernateのAPIとアノテーションを通じて行う。また、全文検索の機能は「JBoss EAP+Luceneによる全文検索システム」で紹介している「Lucene」の利用が前提となっているので注意してほしい。 「JBoss EAP+Luceneによる全文検索システム」では、Yahoo!オークションの商品情報を検索するWebアプリケーションを作成している。そこでは商品情報をLuceneの転置索引（以下、検索インデックス）に登録したため、リレーショナ
2013-12-24： お知らせ 本ソフトウェアの所作がプログラム開発時の意図とは異なるケースをこの間に何件かご報告頂いています。本ソフトウェアは公開以来ご好評を頂いており、最新の環境へ追従すべく可能な限りの保守を継続してきましたが、現時点では新たに調査・改訂を行う目処が立っておりません。そのため、大変残念ですが本ソフトウェアの公開を一時的に停止させて頂きます。ご利用者の皆様におかれましては何卒宜しくご理解・ご了承下さいますようお願い致します。 2012-11-15： お知らせ 以下の問題に対応したテスト版パッチモジュールを公開します。 HttpLogger を有効にした状態で Windows 8 (32bit / 64bit) 初出の Internet Explorer 10 を起動するとエラーが発生する。 この版には先日パッチを公開した「Firefox 12 以降での動作不良に関する修
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Ludiaプロジェクトは10月31日、PostgreSQLに全文検索インデックス機能を提供する「Ludia 1.3.1 Windows版」をリリースした。ライセンスは、LGPL（GNU Lesser General Public License）。 Ludiaは高速かつ高精度な全文検索インデックス機能を、DBMS「PostgreSQL」向けに提供するオープンソースソフトウェア。 今回のリリースにおける変更点は、以下のとおり（注：変更内容はLudia1.3.1 Linux版と同一）。 メモリリークの修正：大規模なインデックスを作成する際のメモリリークを修正 シーケンシャルスキャン改善：空文字列のシーケンシャルスキャン時に、"ERROR:
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Tritonnプロジェクトは10月31日、MySQL 5.0.45向けの「Tritonn ver1.0.7」をリリースした。 Tritonnは、MySQLから全文検索エンジンSennaを利用可能にするためのプロジェクト。MySQLに日本語データに対する全文検索を行うための十分な機能が実装されていないことと、高速化を図るため、Linux向けバイナリとソースコードを公開している。 しかしながらTritonnは、MySQL、Senna、MeCabを組み合わせ、ソースコードからインストールしなければならず、導入に煩雑さがつきまとっていた。そのため、今回のリリースではRPMパッケージを用意し、容易にインストールができるようにした。 ビルド済みのバ
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Ludiaプロジェクトは10月23日、PostgreSQLに全文検索インデックス機能を提供する「Ludia 1.3.1」をリリースした。ライセンスは、LGPL（GNU Lesser General Public License）。 Ludiaは高速かつ高精度な全文検索インデックス機能をオープンソースのDBMS「PostgreSQL」向けに提供する。Ludiaは、SennaとMecabパッケージに依存する。 今回のリリースにおける変更点は、以下のとおり。 メモリリークの修正：大規模なインデックスを作成する時のメモリリークを修正した シーケンシャルスキャン改善：空文字列のシーケンシャルスキャン時に、"ERROR: pgsenna2: sen
はじめまして。ライブドアの山本です。 弊社は最近 CGMコンテンツに注力しています。 データがたまってくると、ユーザーが必要な情報をすばやく得られるように検索機能を実装する必要がでてきます。 各コンテンツそれぞれで検索機能を実装しているのですが、mysql から直接引いたり、Namazu や SUFARY などの検索エンジンもかなり使ったりしています。 今回は某コンテンツの検索エンジンとして使用している HyperEstraier のちょっとした導入方法をご紹介します。 HyperEstraier は平林幹雄さんが開発された検索エンジンで、次のような特徴があります。 * インデックスを使った高速な検索ができます。 * 大量の文書のインデックスを短時間で作成できます。 * N-gram方式による漏れのない検索ができます。 * 形態素解析とN-gramのハイブリッド機構で検索精度を向上させます
6日(イタリア時間)、Managing Gigabytes for Javaの最新版となる「Managing Gigabytes for Java(以下、MG4J) 2.0」が公開された。MG4JはJavaで開発されたフルテキスト検索エンジン。大規模ドキュメントコレクションに対して検索を実施できる。 一つ前のバージョンとなる1.1.3ではカスタマイズ性の向上、新しい再検索アルゴリズムの導入などが実施されたが、今回リリースされた2.0では主にパフォーマンスの改善を目的としている。ただし、新機能がいくつか追加されている。 2.0で導入された新機能は、ハイパフォーマンス・インデックス・フォーマット、高速ハッシュ機能、新オペレータなど。成果物はGNU LESSER GENERAL PUBLIC LICENSE Version 2.1のもとで公開されている。
Pivoting your developer career into AI? Here's what to know Want to pivot your software development career and focus on AI? Here's how to pick from several paths, hone specific skills and evaluate potential AI roles and organizations. Jira story vs. epic: What's the difference? Anyone who has opened a Scrum board in Jira knows projects are organized into stories and epics. But what exactly is the
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
