Dockerベースで手軽に便利なスクレイピング環境を構築する手順をまとめました。 Selenium on DockerやGKEのサンプルとしてもどうぞ。 GitHub : https://github.com/nullnull/scraping_sample この記事でできるようになること 本番環境(GKE)でスクレイピングのスクリプトを定期実行 スクレイピングを実行中のSelenium(Chromeブラウザ)の様子をVNCで監視(本番/開発) スクレイピング結果をSlack通知(本番/開発) スクレイピング結果をRedashでビジュアライズ(本番) 環境構築にかかるコマンドは数回だけで、スクリーンショットのように動作を確認しながら開発を行うことができます。（左がVNCを通したChromeブラウザ、右がRedash） この記事で説明しないこと スクレイピングのコードそのものの説明 そもそも
お久しぶりです、エンジニアリードのSakaeです。 本技術ブログ解説以来、弊社スクレイピングエンジニア達がクローリング/RPAにまつわる様々な基礎技術や、クローラーをサーバー上で稼働させるための環境構築方法などについて個別に記事を書きためて来ました。 ここらで、これらのバラバラな基礎技術どうしを一本に繋げて、スクレイピング初級者の方でもモリモリデータ収集を行って頂けるような、1から10まで・・・とはいかないものの、1から5までくらいの技術が身につくまとめ記事を書きたいと思います。 まずはスクレイピングエンジニアとしての心得を学ぶ 拙記事で恐縮ですが、スクレイピング/クローリングエンジニアとはどのような職種で、どのような思考回路が求められるのか？また、データクローリング（データアグリゲーション）が活用されるビジネスの世界について頭に入れて頂ければと思います。 職業スクレイピングエンジニアが考
こんにちは。学生エンジニアのhashimotoです。もう平成最後の年末ですね。 今回は、「selenium（セレニウム）を使ってSNSサイトにログインし、タイムラインをスクロールして自動取得する」という流れをご紹介します。マストドンというSNSのQiitadonというインスタンスを例としてプログラムしていきます。 seleniumを使ってログイン 今回はqiitaでマストドンにログイン、qiitaにtwitterでログインという流れでログインしていきます。 まずはgemのrequireやseleniumの設定です。このあたりは過去記事にseleniumの環境構築の記事がありますのでそちらを参照してください。 require 'selenium-webdriver' require 'nokogiri' Selenium::WebDriver::Chrome.driver_path = "/
はじめに web上にあがっている情報を解析したい場合、有効な手段としてスクレイピングがあります。 よって、今回はスクレイピングでサイト情報を取得し、データベースにストアするまでの流れをまとめていきたいと思います。 前提 今回は、複数のページに跨る情報を取得します。 スクレイピングの流れ ライブラリを導入する まずは、Mechanizeというスクレイピングを行うためのGemをGemfileに記述し、bundle installを実行します。 MechanizeのGemを入れるとMechanizeクラスが使えるようになり、Mechanizeクラスに用意されている様々なメソッドを使えるようになります。
![スクレイピングでサイト情報を取得し、データベースにストアするまでの流れをまとめてみた[Rails] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f1a27b4c90f22017c859e34528066880bd213669/height=288;version=1;width=512/https%3A%2F%2Ffanyv88.com%3A443%2Fhttps%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUUzJTgyJUI5JUUzJTgyJUFGJUUzJTgzJUFDJUUzJTgyJUE0JUUzJTgzJTk0JUUzJTgzJUIzJUUzJTgyJUIwJUUzJTgxJUE3JUUzJTgyJUI1JUUzJTgyJUE0JUUzJTgzJTg4JUU2JTgzJTg1JUU1JUEwJUIxJUUzJTgyJTkyJUU1JThGJTk2JUU1JUJFJTk3JUUzJTgxJTk3JUUzJTgwJTgxJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgzJTk5JUUzJTgzJUJDJUUzJTgyJUI5JUUzJTgxJUFCJUUzJTgyJUI5JUUzJTgzJTg4JUUzJTgyJUEyJUUzJTgxJTk5JUUzJTgyJThCJUUzJTgxJUJFJUUzJTgxJUE3JUUzJTgxJUFFJUU2JUI1JTgxJUUzJTgyJThDJUUzJTgyJTkyJUUzJTgxJUJFJUUzJTgxJUE4JUUzJTgyJTgxJUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJTVCUmFpbHMlNUQmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWM2MWM1ODM3MmQ0MmY1MTE5MWJkYTQ5OGM1YTQ5NWJh%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0YWt1eWFuaW4mdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWI5NTNlYWZkOTIyYzZkOTJlMTJhZTJjZmJmODVjZDU4%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D6fb92fb1a3f6aacd11b4f40c8e9bc1b6)
この記事での実行環境は以下のようになっております CentOS 6.8 $ ruby -v ruby 2.3.1p112 (2016-04-26 revision 54768) [x86_64-linux] $ nokogiri -v # Nokogiri (1.6.8.1) What's スクレイピング? ウェブスクレイピング（英: Web scraping）とは、ウェブサイトから情報を抽出するコンピュータソフトウェア技術のこと。 ウェブ・クローラーあるいはウェブ・スパイダーとも呼ばれる。 https://ja.wikipedia.org/wiki/ウェブスクレイピング より引用 ようするに特定のウェブサイトからほしい情報を抜き取ることっすね！ What's Nokogiri? Rubyでスクレイピングするときの定番ライブラリ 公式サイト http://www.nokogiri.org/
evernoteの全文を抽出する必要がありその時に使った方法を公開します。 EvernoteAPIを使えばできそうですが、それほどのことでないので面倒ですよね。 そこで、全ノートをhtml形式で出力してBeautifulSoupでスクレイピングする方法を紹介していきます。 #Evernoteの全ノートをhtml形式で出力する まず、Command + Aで全ノートを選択します。そこからノートをエクスポートします。 出力する形式はhtmlを選択してください。 今回はこれをmynoteとしてデスクトップに保存します。 mynoteのindex.htmlには出力したファイル全てのノートの目次になっていて、各htmlファイルへのリンクがあるのでそれを利用します。 手順としては index.htmlから出力するノートのurlを抽出する。 url先からテキストを抽出する。 それをSQLiteに保存する
※[ブックマーク]ボタンの中に delicious, reddit, digg, Google+(G+) のボタンもあります。 2014年5月時点で、HTML/Webスクレイピングに使える Ruby 関連のライブラリたちについて、前回 (2010年) のまとめとの差分とともに、概要をまとめた。各々のライブラリの特徴と入手先、HP、インストール方法、ライセンスなどについて簡単に説明している。 今回扱っているのは、nokogiri, Mechanize, Selenium-webdriver, Capybara-webkit, poltergeist の 5 つ。Ruby 以外にも、PhantomJS, Yahoo!Pipes, ScraperWiki, kimono についても取り上げた。 一覧をまとめたのち、比較と評価、おすすめの用途について簡潔に述べる。 背景 2010年に「Ruby関連
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
