前回に引き続き検索エンジンについて勉強中です。今回は少し PHP だと気軽に出来るかもしれない、出来ないかもしれないサイトの情報収集ツールつまるところのクローラを構築してみました。 Google や Yahoo などの検索エンジンは、いくら検索アルゴリズムを良くして、ランキングの精度をあげても、収集したサイトの情報あってこそで、元の情報が少なかったり、精度が悪いと、良い情報を提示することは出来ません。そんなわけでサイト情報を頑張って収集するクローラが必要です。 流れとしては 1. 起点のサイトを決めて、そこからリンクを再帰的に巡り情報を収集する 2. 収集したサイトから本文を抽出する となります。 まず 2. のフェーズは、検索を行った際に、広告情報などでヒットされては困る（精度が悪くなる）ので、必要になってきます。 サイボウズラボの nakatani さんが実装されたものを PHP に移
はてなブックマークのブックマーク数が多い順に記事を紹介する「はてなブックマーク数ランキング」。12月9日（月）～12月15日（日）〔2024年12月第2週〕のトップ30です*1。 順位 タイトル 1位 無自覚にメンバーの心理的安全性を奪っていた経験から得た学び - Speaker Deck 2位 重度知的障害の女性が活躍する仕事 川崎 “あるシステム”が決め手に 職場全体にメリットも | NHK 3位 犬とおばあちゃん助けたら最近かなりいい感じ 4位 セロトニンを補う薬がびっくりするほど効く人たち | Books&Apps 5位 コワーキングスーパー銭湯ランキング（東京近郊） 6位 あるXユーザーの「娘が4～5歳の頃にハマったボドゲ」全26種の紹介ツリーが参考になる→クリスマスに子どもからボドゲを所望された親御さんは必見 - Togetter [トゥギャッター] 7位 一つ嫌なことがあると
Pythonで記載されたレイアウト+diffベースで本文抽出を行うWebstemmerを用いてブログの本文抽出にチャレンジしました。いつも通り技術エントリーは非常に長いので、興味のある人だけ続きをごらん下さい。 検索エンジンのフロントエンド部分の実装の目処がたったので、次はクローラ、インデクサの実装です。PythonにはTwistedという極めて優秀な非同期Webアプリケーションフレームワークがあるので、クローラを記載することは全く難しくありません。この辺りはPythonクックブックの14章ウェブプログラミングを参照して下さい。Python クックブック 第2版鴨澤 眞夫 當山 仁健 吉田 聡 おすすめ平均 リファレンスとセットで 2.5以降対応版の第3版を Amazonで詳しく見る by G-Toolsさて、クローラ部分の目処は立ったとして、問題はインデクサです。Luxを検索エンジンに使
「社会的インタラクションにおける知」および一般 bookmark 電子情報通信学会「人工知能と知識処理」研究会発表募集 Wikipedia に見られるように，オープンなネットワーク環境で多数の参加者がインタラクトすることで，様々な価値が生産され始めています．このようなシステムを設計するには，計算機科学の知見とともに，ゲーム理論，経済学，ネットワーク分析，心理学，エスノグラフィ，メカニズムデザインなど様々な知見が必要です．参加者をどのようにインタラクトさせるのかといった技術をはじめ，参加者のモデリング法やシステム構築法などに関する研究発表を募集します．対象は，協力的な場合に限るものではありません．例えば，オークションなども商品を介した社会的インタラクションと見なすことができるでしょう．どうぞ奮ってご投稿ください．特集とは別にAI一般のご発表も歓迎いたします． 日程と会場 bookmark 【
森ビル デジタルアート ミュージアム：エプソン チームラボボーダレス Feb 09, 2024 - 麻布台ヒルズ、東京 NOW OPEN
KOSHIANに続いてTSUBUANをつくりました。 URLを与えるとそのページに含まれる本文らしき文章をXMLで返すAPIです。 RESTで引数はurlしかありませんが、一応仕様はこちらに。 http://zuzara.dyndns.org/docs/contentextractionapi.html サンプルレスポンス： http://zuzara.dyndns.org/api/tsubuan?url=http://blog.zuzara.com/2006/12/12/173/ アルゴリズムは以前作ったスクリプトの改良、といった感じです。精度をちゃんと数字にしていませんが、汎用的にどんなブログでも取得できるようになったと思います。必ずしもブログのみが対象ではなく、言語による依存もありません。精度実験では中国語のブログも対象にしてみました。 以前あった、ceekzさんのアイディアも使わせ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
