TagSoup is a library for parsing HTML/XML. It supports the HTML 5 specification, and can be used to parse either well-formed XML, or unstructured and malformed HTML from the web. The library also provides useful functions to extract information from an HTML document, making it ideal for screen-scraping. The library provides a basic data type for a list of unstructured tags, a parser to convert HTM
PdfMasherはPDFファイルを解析してテキストを編集後、HTMLに変換するソフトウェア。 PdfMasherはWindows/Mac OSX/Linux用のオープンソース・ソフトウェア。iOSをはじめ、多数のデバイスでPDFの閲覧がサポートされている。そのため、PDFをそのまま電子書籍フォーマットにすることだって不可能ではない。だが何となく嫌だ。 メイン画面 自由がなさ過ぎるフォーマットであるし、文字や図を表示するのみで電子書籍ならではの面白さも感じられない。そこでPDFをコンバートするためのPdfMasherを紹介しよう。 PdfMasherはPDFファイルを開いて解析し、テキストに置き換えてくれる。認識されたテキストは自由に変更ができる。そしてテキストはMarkdown形式で出力ができる。Markdown形式からさらにHTMLへコンバートして保存することも可能だ。 生成したHTM
Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 です。 【追記】大事なこと書き忘れ。本モジュールは Ruby1.8.5 で動作確認していますが、特別なことはしていないので、1.8.x なら動くと思います。 $KCODE="u" # 文字コードは utf-8 require 'extractcontent.rb' # オプション値の指定 opt = {:waste_expressions => /お問い合わせ|会社概要/} ExtractCont
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
