Perl で日本語テキストを字種分割 2008-02-06-2 [Programming] Perl で日本語テキストを簡単に字種かたまりに分割できないかな、 と思い、perlunicode を読みながらサンプルプログラムを書いてみました。 対象テキストは UTF-8。 chunker.pl : #!/usr/bin/perl use strict; use warnings; use Encode; use utf8; use open ':utf8'; binmode STDIN, ":utf8"; binmode STDOUT, ":utf8"; while (<>) { chomp; my @cs = m/(\p{M}+|\p{N}+|\p{P}|\p{S}+|\p{Z}+|\p{C}+ |\p{Latin}+ |\p{Han}+ |\p{Hiragana}[\p{Hiragana

前回は、Perlモジュールである「Web::Scraper」を使ったスクレイピングについて説明した。Webページ（HTML）は、「構造」と「デザイン」面で比較的分離が進んできたため、CSSセレクタによるスクレイピングが有効であることが分かったはずだ。 今回の最終回では、コンテンツの自動収集と統計手法について考えてみよう。 記事内で扱っていくのは、幾つかのコンテンツをたどって、「利用頻度の高い語句を集め、話題となっているキーワードを見つけよう」というものだ。 話題のキーワードを集める手法 近年ブログのポータル上などでは、話題となっているキーワードを「利用頻度に応じたフォントサイズ」で示し、クリックすると該当の記事一覧が表示されるという仕組みが実装されているものが多い。 オルタナティブ・ブログにも似たようなものとして「話題のキーワード」が見られる。キーワードをクリックすると、Googleによる

2007年12月08日20:30 カテゴリLightweight Languages perl - Lingua::JA::Kana released! かなとローマ字をシンプルに相互変換するモジュールです。 dankogai's p5-lingua-ja-kana at master - GitHub @CPAN (as soon as PAUSED) 車輪の再発明ではあるのですが、どの車輪もちょっと不適当だったので。 私が欲しかったのは、お気軽にカナとローマ字の相互変換をするものだったのですが、Lingua::JA::Romajiは対象文字列がEUC-JPでないと駄目で古すぎで、KawaさんのLingua::JA::Romanize::*はちょっとヘビーウェイトすぎというわけで作りました。 ちょっと test suite が少なすぎるので、テスト募集中です。 Dan the Perl

転置インデックスによる検索システムを作ってみよう！ 2007-11-26-5 [Algorithm][Programming] 転置インデックス[2007-06-17-6]による検索システムの実装は パフォーマンスを無視すれば意外と簡単です。 それを示すために Perl で簡単な検索システムを作ってみました。 検索方式は転置インデックス(Inverted Index)、 ランキングには TF-IDF[2005-10-12-1] を用いました。 検索対象ファイルは一行一記事で以下のフォーマットとします。 [記事ID][SPC][記事内容]\n 記事IDは数字、記事内容は UTF-8 の文字で構成されるものとします。 以下のようなサンプル test.txt を用意しました。 1 これはペンです 2 最近はどうですか？ 3 ペンギン大好き 4 こんにちは。いかがおすごしですか？ 5 ここ最近疲れ

Shibuya Perl Mongers 2代目リーダーにして，ppencodeの作者。広島市立大学卒業後，大企業向けmod_perl製品の開発に従事。2005年よりサイボウズ・ラボ株式会社に入社。LL Ringに参戦。Namazu for Win32，Plagger，Ajajaのコミッターでもある。 CGIといえばPerl。そんな風にいわれていた時期もありました。レンタル・サーバーのCGIで手軽にPerlが使えたこともあり，ちょっとした掲示板のスクリプトやアクセス・カウンタなど，CGIプログラムの多くがPerlで書かれていました。このためPerlが爆発的に普及したのです。Perlは日本のインターネット黎明期を支えたプログラミング言語として，広くその名が知られています。 その半面，Perlで書かれたプログラムの保守性に悩む声も聞かれるようになりました。事実，Perlのプログラミング経験が少

Perl の defined と exists 2007-10-11-3 [Programming] 弾さんのご指摘により（感謝！）、 最近は perl でのハッシュキーの存在確認に exists を 使うようにしています。 - 404 Blog Not Found:perl, et al. - キーの存在確認 http://blog.livedoor.jp/dankogai/archives/50849003.html それはそうと、やっかいなのが、ハッシュでツリーを扱うとき。 一度でも $a->{"a"}->{"b"} を見に行くと、 $a->{"a"} が存在するようになっちゃうんですよね。 確認するためにアクセスしただけなのに、 途中ノードができちゃうなんてちょっとなあ…。 if (defined %{$a->{"a"}}) { ... といった方法で確認しているのですが、なんかバ

2. テキストマイニング（１） 評判情報。ポジティブ、ネガティブ • プロフィール。ブロガーの性別、年齢、地域 • そのページに関連した広告とか。 • 関連語。 • もしかして○○？ • クラスタリング。グルーピング。 •

携帯アドレス、Gmail、YahooMailにメルマガが届かない場合 こちらから受信設定をお試しください。 また、購読期間内のメルマガ(有料・無料)はマイページから再送できます。 マイページをお持ちでない方は、新規にご登録ください！ →informationページへ

「本書で提供するのは、1つのベストプラクティス集である。コードの作成方法に関する誰かの机上の理論ではなく、実際のコーディング方法に関する実体験に基づいており、首尾一貫し、用途が広く、バランスよくまとめられている。何よりも、これは実際にうまくいくプラクティス集であり、世界中の多くの開発者によってすでに使用されている。Perl自体と同様に、これらのガイドラインの目的は、開発者にわずらわしさを感じさせずに、作業を行うための手助けをすることである。」（本書「はじめに」より） はじめに 1章　ベストプラクティス 1.1　3つの目標 1.1.1　堅牢性 1.1.2　効率性 1.1.3　保守性 1.2　本書について 1.3　新しい習慣 2章　コードのレイアウト 2.1　かっこ 2.2　キーワード 2.3　サブルーチンと変数 2.4　組み込み関数 2.5　キーとインデックス 2.6　演算子 2.7　セミコ