Perlではじめるテキストマイニング - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな？ ■前置き みなさんこんにちは。ダウンロードたけし（寅年）です。来年は年男なので今からお正月が待ち遠しい35歳2児の父です。 ここ数年、web広告業界ではコンテキスト解析とかユーザの行動分析とか、いわゆるデータマイニング／テキストマイニング系の話題が花盛りです。 自分もそんな業界に属しているんですが、ふと気がつくと日本語のテキストマイニング系モジュールを量産してしまっているので、ここらでいくつか紹介してみたいと思います。 今回はインターネットからブログなどのコンテンツを取得して、それを意味解析してクラスタリングする、といったようなことを題材にモジュールの紹介をしてみます。 ■HTML::Featureで本文抽出 まずは
Ohmm-0.01をリリースしました [Ohmm 日本語] [Ohmm English] これは、以前のブログで書いた、オンラインEM法をそのまま素直に隠れマルコフモデル(HMM)に対し適用したライブラリです。 使う場合は、単語（アクセス履歴とかなんでもよい）に分けられているテキストを入力として与えれば、HMMによる学習を行い、結果を出力します。他で利用できるように、パラメータを出力したり、単語のクラスタリング結果を出力します。 HMM自体は、言語情報やアクセス履歴、生物情報（ＤＮＡ）といったシーケンス情報において、前後の情報を用いて各要素をクラスタリングしたい場合に用います。 本ライブラリの特徴はオンラインEMの特徴通り、従来のEMよりも速く収束します。一応標準的な最適化手法（スケーリング、スパースな期待値情報の管理）もいれているので、そこそこ高速に動きます 速度的には100万語、隠れ状
「自然言語処理は Python がいちばん」とか見てて、iPhoneで使いたかったので、Objective-Cでも書いてみようと思い、書いてみました。 日本語 WordNetデータベースにアクセスするためのObjective-Cクラス http://nlpwww.nict.go.jp/wn-ja/ 2009.4.4修正 2011.6.27 伊藤真央さんからご指摘、修正。 databaseをクローズしていない部分を修正 実用になる速度となりました。 辞書を抜いて置いてあります。 「wnjpn.db」を入れて使用してください。 https://github.com/oomori/WordNetJP_ObjC 間違いあればご指摘ください。 WordNetJPN.h // // WordNetJPN.h // // Created by 大森 智史 on 09/03/31. // Copyrigh
募集：Gyokuroの開発を引き継いでくれる人を募集中です。興味のある方は[email protected]までご連絡お願いします。 概要 「玉露」は、形態素解析機「茶筅」のRuby用インタフェース「Ruby/ChaSen」のラッパーライブラリです。 茶筅の出力結果を解析し、扱いやすいオブジェクトとして出力します。 ダウンロード 現在の最新バージョンは1.0.0です。 RAA(Ruby Application Archive)からもダウンロードできます。[RAA:Gyokuro] 最新版 gyokuro-1.0.0.tar.gz(22kb) 旧版 gyokuro-snapshot20020604.tar.gz(6kb) CVS CVSから最新のソースコードを入手するには、以下のようにします。 $ cvs -d:pserver:anonymous@cvs.sourceforge.jp:/c
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
