Puppeteerのnode apiを使ったサンプルプログラムを作り、ヘッドレスChromeを操作してみましたので報告します。 先日、Google Chromeにヘッドレス機能が追加されました。GUI無しにコマンドラインからChromeを操作できるようになったわけです。 https://developers.google.com/web/updates/2017/04/headless-chrome?hl=ja ちょっと前まではnodeからこのヘッドレスChromeへアクセスするにはchrome-remote-interfaceなどが必要でしたが、最近Puppeteerというものが現れてもっと簡単にヘッドレスChromeを操作できるようになりました。 https://github.com/GoogleChrome/puppeteer 公式サイトにあるPuppeteerの使い方 スクリーンシ
import.ioとは import.ioは、データ化したいページのURLを入力するだけで、自動でデータ箇所を判断して情報を集めてくれるスクレイピングサービスです。 無料で利用することができ、セットアップも、データ収集用のトレーニングなども必要ありません。 URLを入力して、ボタンを押すだけという簡単さから、誰にでも利用できるデータ収集ツールだと思います。 以下では、その簡単な使い方や、利用例などを紹介したいと思います。 定期的なサイトへのスクレイピングは相手サイトの負荷になるので、一日に何度も何度も同一サイトに使用するのはやめましょう。加えて、取得したデータを、そのまま何かに利用すると著作権違反になる恐れもあります。 基本的な使い方import.ioの最大の特徴は、使い方の簡単さです。 以下では、その使い方の例として、IKEAのソファー検索結果ページのデータを取得してみたいと思います。
2013-08-17 Casper.JSのススメ Phantom.JSというヘッドレスブラウザがある。 これが超便利なんだけど、セッション周りとか込み入った操作をしようと思うと途端に操作(JSファイルへの記述)が面倒になる。 そこで、Casper.JSの出番だ。 CasperはPhantomと連携するライブラリで、簡単な記述で複雑な操作を実現することができる。 また、Phantomのレンダリングエンジンはwebkitで、Gekkoで動いているSlimer.JSってのもあって、これらの上で動くCasperを使っているとレンダリングどっちも使えるので捗る(と思う)。 今回はEnd-to-Endテストの実現を目的に、Casper.JSでwebサイトのHTMLを解析してみる。 もちろん、スクレイピングなどにも応用可能だ。 ↑ヨルムンガンドに出てくる主人公(ココ・ヘクマティアル)の兄キ
あ、どうも僕です。 今日はPHPでWebサイトをクローリングしてjQueryチックにDOMを操作して、データを取得したり、画像などをダウンロードする方法について書こうと思うよ！ これができると何がうれしいかって、いつも手動で巡回しているサイトなんかにアップされてる画像データを自動でダウンロードできるようになるんだよね。 人がやっていた作業をコマンド一発で自動化できるから、捗ること間違いなしだよ！ あれ、この人、この前node.js使って同じことやってなかったっけか？ node.jsを使ってjQueryチックにWebサイトをクローリングする方法 なんで同じことをPHPでやってんだ？とか思っていやしないだろうか。ああそうさ！ついこの前、node.jsで全く同じことをやって記事を書いたさ！なぜかって！？それは、node.jsの非同期地獄にやられたからさ！ やつめ、データのダウンロードからデータベ
nodeのバグを踏んだりしてたら4時間かかってしまったのでメモしておく。 ■HTTP接続 以下のようにしてHTTPクライアントを生成し、ホストに接続することができる。 var host = 'www.example.com'; var header = {"Host": host}; var client = http.createClient( 80, host, false, false ). client.request( "GET", "/", header ); createClienetはどうやら廃止される方向らしいので以下のように書きなおす。 var http = require('http'); var host = 'www.example.com'; var req = http.get( { "host" : host, "port" : 80, "path" : "
きっかけ Conkyというデスクトップ上で色々表示できるプログラムで使うスクリプトをNode JSを使って書いてます。 どういった物かというと、ルータ(年代物のCoregaのBAR FX2)から外部IPを取得するもの。 UPnPが使えるルータなので本来ならUPnPで取得したいのですが、色々やってみてもうまくとれない・・・ そこでbasic認証がかかったルータの設定画面(Web)から取得する事にしました。 環境 Node.js -> 0.4.12 // 2011/10/30でstableのやつです npm -> 1.0.101 // 最初apt-getでinstallしたら0.2.19なんてものが入った。これだと問題が発生したので入れなおした。 jsdom -> 0.2.8 // スクレイピングとかに使います jquery -> 1.6.4 // 今回指定したバージョン 取得する為にする事
Node.jsでうごくPhantomJSとCasperJSを使用したスクレイピング — Presentation Transcript Node.js でうごくPhantomJS とCasperJS を使用したスクレイピング 2012/11/02 Miu Kobayashi @miua 自己紹介 小林未宇 @miua http://miukoba.net• 株式会社ジーニーという会社で エンジニアをやっています。• Java 0.5年、ASP.NET 4年、PHP 0.5年• Node.jsは触って2週間くらいなので、 間違ってたらどんどん指摘して下さい。 今日の概要• サーバーでJavascript動かせるなら、最近 増えてきたリッチなWebサイトをわざわざ DOMエミュレートなんかしなくても、実 際にコマンドラインとかプログラムからブ ラウザ動かしちゃえば、Ajaxとかを多用し ている
Qiita初投稿です。初めまして、yosuke_furukawaと申します。 Node.jsでスクレイピングというとjsdomなんかが有名ですよね。 以下のやり方が参考になると思います。 node.jsとjQueryでスクレイピングするウェブアプリの作り方 | さくらたんどっとびーず でも実際に外部サイトをスクレイピングしようとすると、requestモジュール使うかsuperagentモジュール使うかしなきゃいけなくて若干面倒です。これがScraperを使えばもう少し簡潔に記述できます。 Scraperの強力さを試すために東京Node学園祭で出た問題を紹介します。 Node.jsを使って、リクルートテクノロージズ社のサイトをスクレイピングしてください。 "recruit"もしくは"リクルート"の文字が何文字あるかワード件数を求めよ。 ただし、aタグのものは除去してカウントすること。 これ、
某イベントのためのコードを書くのにHTMLのスクレイピングをやりたいなー、nodeで書くかなー、去年は jsdom で書いたけど今はどうなんだろね、とか調べてたら、どうもこういうあたりのがあるらしい。 jsdom たぶん一番有名で高機能、だけど重い。 node-jquery jQuery読むだけならコレ！みたいな感じ、だけどあんまりアップデートされてないかも。使いかたはいちばんシンプル。 依存関係がちゃんと書かれてなくて、追加で手で xmlhttprequest をインストールしておかないと動かなかった。 cheerio お前ら重い！ 俺がjQuery記法を再実装してやる！ という男らしいライブラリ。 zombie ブラウザの挙動をシミュレートする的なライブラリ、Mechanizeみたいなやつかな。いまの用途では前段でHTTPレイヤをいじる必要があるので今回は用途に合わない。 sqrape
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
