これはすごい！ というわけでTwitter検索を3倍高速化したという記事を翻訳してみました。Twitter Engineering: Twitter Search is Now 3x Faster2010年春。Twitterの検索チームは、我々の増え続けるトラフィックに対応し、エンドユーザにとっての遅延を減らし、我々のサービスの可用性を向上させ、新しい検索の機能を素早く開発できるようにするため、検索エンジンを書きなおす作業を始めた。 その努力の一部として、我々は新しいリアルタイム検索をリリースし、検索のバックエンドをMySQLからLuceneのリアルタイム版に変更した。そして先週、我々はRuby-on-Railsに取って代わるフロントエンドをローンチした。我々がBlenderと呼ぶJavaサーバーである。我々はこの変更によって検索のレイテンシが3分の1になり、検索機能の開発を促進できるよう
Twitterについては先日の記事でフロントエンドのBlenderを紹介しましたが、バックエンドやデータ解析のシステムにも興味があります。ちょうどData-Intensive Text Processing with MapReduceで有名な@lintool先生の新しい論文が公開されていたので読んでみました。Full-Text Indexing for Optimizing Selection Operations in Large-Scale Data Analytics(pdf)ACMのMapReduce'11というワークショップで発表された内容のようです。この論文を読んで初めて知ったのですが、Lin先生はサバティカル休暇（大学教授が長期の休みを取れる制度）でTwitterに来ており、データ解析チームで働いているそうです。この論文もTwitterエンジニアの@squarecogさんと
Twitterのリアルタイム検索機能が、オープンソースのLuceneベースになったと、Twitter Engineeringブログへのエントリ「Twitter's New Search Architecture」で紹介されています。 これまでTwitterはリアルタイム検索にMySQLベースの独自システムを利用してきましたが、規模の拡大が難しくなってきたため、6カ月前に新システムの構築を決定。オープンソースの検索エンジンであるLuceneを選択したとのことです。 従来の50倍も高速に！ 検索エンジンに対する要件は以下のように非常に厳しいものでした。 Our demands on the new system are immense: With over 1,000 TPS (Tweets/sec) and 12,000 QPS (queries/sec) = over 1 billion
Apache Software Foundation（ASF）のApache Luceneプロジェクトは11月26日、Java検索技術の最新版「Apache Lucene Java 3.0.0」をリリースした。プロジェクトのWebサイトより入手できる。最新版は、新機能のないクリーンアップリリースとなる。 Lucene JavaはApache Luceneプロジェクトのサブプロジェクトで、Javaベースのインデックス／検索技術。最新版では、初めて「Java 5」を最小要件とした。 新機能は特になく、不要な機能を除去したリリースとなる。バージョン2.9.1からのアップグレードユーザーは、「deprecated」と警告のあるコードを削除する必要がある。APIクリーンナップにより、Java 5のGeneric、Vararg、Enumなどの新機能を利用できるようになった。バージョン2.9.0で「de
LinkedInは最近4,500万ユーザを突破した世界最大の規模のビジネスSNSだ。SNSというとFacebookに注目が集まるが、LinkedInも様々な試みが行われており非常に興味深いシステムになっている。ZoieはLinkedInの開発した検索エンジンになっている。 シンプルなインタフェース 最近流行のリアルタイム性を取り入れ、実際に彼らのシステムで使われている。そんな実用性の高いシステムがオープンソースになっているのだ。 今回紹介するオープンソース・ソフトウェアはZoie、Apache Luceneをベースにした検索エンジンだ。 ZoieはApache Luceneをベースに開発されておりJavaで作られている。検索対象を追加すると即座に検索結果に反映されるようになっており、インデックスの再構築を待たなくて良い。またそのインデックスの再構築は検索パフォーマンスに影響を与えないように
こんにちは 。 検索 関連 を 担当 して いる やましー です 。 今回は livedoor で提供しているサービスの中の「検索関連」について書きます。 このブログでも過去に何度か取り上げられていますが、livedoor では検索エンジンとして HyperEstraier、lucene、mysql + senna、Namazu、SUFARY などを利用しています。 その中で lucene の利用方法や機能拡張について説明します。 lucene とは Apache Lucene は、Java で書かれた高性能で高機能な検索エンジンライブラリです。全文検索を（特にクロスプラットフォームで）必要とするほとんどのアプリケーションに適している技術です。※ 公式サイトから抜粋 インデックスの作成 lucene は転置インデックス型の検索エンジンなので、ドキュメントを検索するには、まずインデックスの作
第２回：全文検索機能を試すサンプルを作成しよう！ 著者：ロンウイット 関口 宏司 2007/11/20 今回は早速、Hibernate Searchを使ったプログラムを作成してみよう。 作成するプログラムはある会社で使われる社員検索システムとする。このシステムでは、社員が相互に趣味や得意分野などの「タグ」をつけられるようになっており、検索時は「タグ」で社員を検索できるようにする、というものである。また今回のサンプルアプリケーションでは、アプリケーションサーバを利用せずにスタンドアロンのJavaアプリケーションとして実装している。 このシステムでは図1のようなEmployeeクラスを用いることとし、永続化はJBoss Hibernateを通じてEMPLOYEEテーブルに行うものとする。 以降では、プログラムコードの一部を掲載しながら説明してく。プログラムの全体および必要なライ
本連載ではJBoss Enterprise Middlewareを使った「エンタープライズレベルの検索サービス」を提供するWebアプリケーションの作成を行う。検索エンジンとしてオープンソースソフトウェア（以下、OSS）のApache Lucene（以下、Lucene：ルシーン）を使用する。 前回「第1回：OSS検索エンジンLuceneとは」では、検索エンジンLuceneについて詳しく解説した。今回はいよいよ実際の検索プログラムを作成していく。 ここでは簡単なサンプルプログラムとするため、JBoss Enterprise Application Platform（以下、JBoss EAP）のJBoss Application Server上で動作するJSPプログラムを作成する。JBoss EAPのインストールについては以下記事を参照していただきたい。
Pivoting your developer career into AI? Here's what to know Want to pivot your software development career and focus on AI? Here's how to pick from several paths, hone specific skills and evaluate potential AI roles and organizations. Jira story vs. epic: What's the difference? Anyone who has opened a Scrum board in Jira knows projects are organized into stories and epics. But what exactly is the
The OpenSymphony, the Compass Framework Projectは23日(米国時間)、Compass Frameworkの最新版であるCompass Framework 1.0を公開した。Compass FrameworkはJavaで実装されたObject to Search Engine Mapping (OSEM)フレームワーク。Lucene検索エンジンで構築されており、階層状に検索を実施することができる。 Compass Framework 1.0はApache License Version 2.0のもとで公開されているオープンソースソフトウェア。Compass Framework 1.0における主な変更点は次のとおり。 メモリの使用量を抑えるためのPathインタフェースの導入 クエリパースにおける*(ワイルドカード)のサポート追加 Sprin
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
