初めまして、インフラストラクチャー部の加藤 (@EugeneK) です。 クックパッドでは現在178万ものレシピが公開されていますが、目的のレシピを探すために検索機能を提供しています。 今回は検索機能の裏側の仕組みについて、インフラストラクチャーの観点からお話ししようと思います。 全ての検索機能を支えるSolrと周辺のアーキテクチャ クックパッドにはレシピの検索だけでなく様々な検索機能がありますが、その全てはSolrを活用して実装されています。 以前はMySQL Tritonnによる全文検索機能を使用していましたが、2011年頃からSolrに切り替わりました。 クックパッドではSolrをマスタ - スレーブ構成にすることで冗長性と負荷分散を実現しています。以下の構成図をご覧ください。 マスタとスレーブの間には、リピータと呼ばれる検索インデックスを中継するためだけの役割のサーバがいます。この
検索結果をfqパラメータで絞り込みたいけど、ファセットは絞り込みたくない。 検索結果とファセットを異なる絞り込み条件で出したい。 例:検索結果は「東京都」で絞り込みたいけども、ファセッとは全都道府県を出したい。 Multi-Select Faceting and LocalParam ?fl=prefecture_id&q=*%3A*&wt=json&indent=true&facet=true&facet.field={!ex=dt}prefecture_id&fq={!tag=dt}prefecture_id:13 ?fl=prefecture_id &q=*%3A* &wt=json &indent=true &facet=true &facet.field={!ex=dt}prefecture_id { "responseHeader":{ "status":0, "
solrって何？ Apache solr solr wiki オープンソースのpure javaの全文検索エンジンです。 Apacheのトッププロジェクトであり、twitterやfacebook級のサイトでも使用されています。 solrにできる事は？ 超高速検索のエンジンを自分で作成可能（オレオレMySQLのようなものを作る事ができる）。 検索する項目を自分で定義可能（RDBのカラム）。 定義した項目に、順序を保持したままリスト形式で値を保存可能（カラムにjavaでいうところのListを保存できる）。 完全一致検索可能。 中間一致検索可能（フルスキャンで超低速になるので非推奨）。 前方一致検索可能。 超高速に件数を取得する、ファセット検索が可能。（select count(*)を100回同時に行なっても超高速） 超高速に同義語検索可能で、同義語の辞書を自分で定義可能。（or name =
Both search engines have great benefits. Solr has a big variety of ResponseWriters, very good language support and advanced distributed capabilities with SolrCloud. On the other hand, ElasticSearch is built for the cloud from the beginning. ES is schemaless, it supports nested documents, multiple document types and it has a great feature named “Percolator” for Prospective Search. On the contra-sid
7月21日にECナビにてSolr勉強会がありました。LTに「Solr@twitter検索」という発表で参加させて頂いた時の資料を公開しておきます。すごく勉強になりました。当日名刺をもってなかったり、遅刻してきたりいろいろご迷惑おかけしてしまって申し訳なかったです…！でもこりずに次も誘ってくださいw 当日の勉強会の様子： id:zegenvsさんの日記 id:Kishiさんの日記 スライド：Solr@twitter検索(.ppt) Solr@twitter検索View more presentations from penguinana. 分かりにくいスライドですが「考え方が根本的に間違っている！」「これはこうすべきだし！」「これを使うべき。」「ここはどうなってるの？」などお気づきの点ありましたらコメント欄などでお知らせください。 もう少しSolrいじってみてまたブログに書いたりしてみようと
elasticsearchの紹介です！ atnd.org/events/33718
elasticsearch勉強会 の参加メモ #elasticsearchjp 先日行われた初心者詐欺が横行していたelasticsearch勉強会に参加したのでそのメモを残しておきます。 ESは内部的にはLuceneを使っており、競合するプロダクトはSolrです。良くAWSのサービスと勘違いするようですが、AWSは関係なくオープンソースの製品です。（私もそう思っていた時期がありました。） そういえば、隣に座っていたのTwitter4Jの山本さんだったんですね。気がつかなかった(；´Д｀) スライドはこちらにまとまっています。 雑感 雑感としては、SolrとESの使い分けが何となく自分の中で明確になりました。 Solrはスキーマきっちり、設計きっちりやりたい場合に使って、ESはデータ量が破滅的に増加的で柔軟なスキーマが欲しくてスケールをポンッとできる場合に使おうかなと思います。話を聞いた限
important update: The recent release of Solr 4 has addressed the difference mentioned below. Now Solr handles replication similarly to ElasticSearch. Even better, a transaction log has been added for durabilities. So please be aware that the information below is more a comparison between ElasticSearch and Solr 3. Most of the articles comparing ElasticSearch and Solr fall into two groups. The first
gistfile1.md Pivot Faceting (Decision Trees) in Solr 1.4. http://loose-bits.com/2011/09/20/pivot-facets-solr.html Solrのピボットファセット Solrのファセット機能は、ある単語や語句、フィールドの値に対する検索結果をさらに細分化して、それらの集計数を返してくれます。 ファセットはそれ自身強力な集計ツールであると同時に、検索結果をもう一段深く絞り込む際のプレビューのように機能します。 Solr4.0より前は、ファセット機能は1階層の検索条件に対してのみ有効でした。つまり、あるクエリのもとに「'foo'フィールドについての集計」のようなことしかできなかったのです。 Solr4.0からピボットファセットという(決定木とも呼ばれる)機能が導入されました。これにより、「'bar'フィ
インデックスデータを確認する。 開発時でも必要になりますが、リリース後の運用でも値の確認は非常に重要になりますね。 まず、インデックスデータと言っても2種類有る事を認識しておく必要があります。 １つ目は「stored」、2つ目は「indexed」、です。 storedの値は容易に確認できますが、indexedの値は非常に確認がし難いです。 その2つは何が違うのでしょう。storedは検索結果として返却される値で、indexedは検索時に使用される値です。 RDBと比較すると解りやすいので、以下をご覧下さい。 solr MySQL stored selectした結果 indexed Bツリーインデックスやユニークインデックスの値 いかがでしょうか。 indexedの値が確認し難いのですが、RDBはindexされた値は確認する事ができません。 理由は、RDBには基本的に形態素解析が無く常に指定
こんにちは、tahara です。 いこーよ に Apache Solr の全文検索を使う Sunspot を導入しました。 これとかこれで MySQL の全文検索を使っていましたが、Sunspot を試してみたら 速い ファセットがものすごく便利 Kuromoji という日本語形態素解析機が使える だったので、 Sunspot は Apache Solr を使う。 Apache Solr を Java を使う。 Java か。。。 というあたりの精神的障壁を克服し、がんばって乗り換えることにしました。 ちょうど Solr 4.0.0 がリリースされたので Solr 4.0.0 sunspot 2.0.0.pre.120925 sunspot_rails 2.0.0.pre.120925 を使うことにしました。 vi Gemfile gem "sunspot_rails", "~> 2.0.
Sematextのブログにて連載された"Solr vs ElasticSearch"の翻訳。 現在、Part 6まで存在し、その全てを翻訳した。 Part 1 – 概観 Part 2 – インデックス作成と言語の取扱 Part 3 – 検索 Part 4 – Faceting Part 5 - 管理APIの機能 Part 6 – ユーザと開発者のコミュニティ比較 なお、オリジナルの記事はこちらのPart1から全て辿ることができる。 http://blog.sematext.com/2012/08/23/solr-vs-elasticsearch-part-1-overview/ この連載はまだ続くはずだがPart 7がいつ出るのかはわからない。また出た時に翻訳を続けられるかもわからない。 なお、訳者はSolrもElasticSearchも大した知識を持っていない。誤訳等見つけられたらぜひコ
【Curious Vehicle 第14回 勉強会ネタ】 『Solrを利用した画像検索について』 みなさまご無沙汰しております。makino です。 * 今回は先日の第11回 Solr勉強会でお話しさせていただいた『Solrを用いた画像検索システム』についてこちらで発表させていただきます！ * テキストデータの検索ツールであるSolrで画像検索も行えたら今までとは違うインターフェースやサービスを作れるのでは!? * Solr勉強会で話をさせていただいた時よりも改善を加えていますのでお付き合いいただければと思います！ 【解説】Solrで画像を検索するための３ステップ ・画像情報はそのままでは検索が行えないので、Solrが得意なテキスト形式に画像データを加工していきます。 ・そのファーストステップとして、①の『画像の特徴情報の抽出』を行います。 特徴点抽出アルゴリズム：SIFT特徴点解析 まず
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
