エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
Mojo::UserAgentがスクレイピングツールとして便利 - Qiita
概要 スクレイピングでやりたいことは、 だいたい以下のようなもの。 ■データを取得する -> GETでHTMフ... 概要 スクレイピングでやりたいことは、 だいたい以下のようなもの。 ■データを取得する -> GETでHTMファイルL/XML(RSS)ファイル/画像ファイルなどを取得 -> POSTでフォームにSubmitする(ログイン/パスワードDL) -> 並列で取得する ■取得したデータから必要なデータを抽出する -> HTMLをParseして、CSSセレクタでデータを抽出する -> JSONをParseして、データを抽出する -> XML(RSS)をParseして、データを抽出する ■取得したデータを保存する -> ファイルとして保存する Mojo::UserAgentは、上記の処理が簡単に書けるようになっている。 インストール MojoliciousをインストールするとMojo::UserAgentも入る。 HTTPSにアクセスすることもあるので、IO::Socket::SSLも入れる。 us
2014/06/02 リンク