Web上に公開されている情報の中から特定のデータだけを自動抽出する「Webスクレイピング」が注目されています。Webスクレイピングを活用することで、個人や企業活動のあらゆるビジネスシーンで業務効率化や、サービスや製品の品質・価値向上が期待できます。
しかしながら、世間ではWebスクレイピングに関する誤解も少なくありません。当社にも、Webスクレイピングツールの開発に関する質問が日々寄せられています。そこで本記事では、Webスクレイピングが違法かどうかをはじめ、スクレイピングに関してよく寄せられる質問について解説します。
本記事をご覧いただくことでスクレイピングに関する正しい知識を持っていただけると幸いです。
関連記事：スクレイピングとは？基本や仕組み、活用事例まで解説
スクレイピングは違法？
Webスクレイピングは、データを効率的に収集できる技術として広く活用されています。しかし、スクレイピングの法的な扱いは誤解されることが多く、正しく理解されていない側面もあります。
ここからは、Webスクレイピングの違法性について解説します。
スクレイピング自体に違法性はない
結論として、Webスクレイピングそのものに違法性はありません。データ分析を目的とし、新たに自社のデータベースとして活用する場合には問題ないとされています。
実際、Webデータの活用として、民間に限らず政府もスクレイピングを活用しています。たとえば、総務省では平成元年に消費者物価指数（CPI）の調査にWebスクレイピングの活用を発表しています。
参照：消費者物価指数（CPI）へのウェブスクレイピングの活用について
スクレイピングの注意点
データ収集に便利なスクレイピングですが、抽出したデータを勝手に公開した場合の著作権侵害や、Webサイトの利用規約にスクレイピング行為について言及されている場合は違法とみなされ、法的措置をとられる可能性もあります。Webスクレイピングをする際は、以下の3点に気を付けましょう。
- Webサイトの利用規約に違反する（利用規約で触れている場合は違反になる）
- サーバに過度の負荷をかける（アクセス不能になり業務妨害にあたる）
- 著作権の侵害
著作権を侵害する行為（抽出したデータを無断で公開・販売するなど）は違法です。
しかし、著作権法では以下のように「例外」も認められています。
1. 私的使用のための複製 （第30条）
個人的にまたは家庭内その他これに準ずる限られた範囲内で使用することを目的とする場合、著作物を複製することができます。
2.送信可能化された情報の送信元識別符号の検索等のための複製等（第47条の6）
インターネット検索サービス事業者（Google、Yahoo! など）は、検索インデックスの作成や送信元識別符号の検索など、検索サービスを提供するために必要と認められる範囲で、著作物の複製・翻案・自動公衆送信を行うことができる。
3. 情報解析のための複製等 （第47条の7）
コンピュータ等を用いて情報解析（著作物に表現された思想や感情の享受を目的としないもの）を行うことを目的とする場合には、必要と認められる範囲内で、記録媒体に著作物を複製・翻案することができる。
参考：e-Gov | 著作権法
スクレイピングが著作権を侵害するかどうかは、具体的なケースや地域の著作権法によって異なります。国や地域によっては、私的利用や合理的引用などの例外規定に該当すれば、合法と判断されることもあります。
そのため、具体的なケースごとに適用される著作権法を理解し、著作権で保護されたコンテンツを適切に取り扱うことが重要です。スクレイピングを行う場合は、関連する法律や規制を遵守し、著作権者の権利を尊重するようにしましょう。
任意のWebサイトでもスクレイピングできる？
Webスクレイピングは、どのWebサイトでも自由にスクレイピングできるわけではありません。特に、個人情報や企業の機密情報を含むデータを無断で取得することは、法的リスクが伴います。
たとえば、ユーザー名やパスワードといった個人情報をスクレイピングする行為は違法となります。
実際、ビジネスSNSのLinkedInでは、データ分析会社hiQ Labsがユーザーの公開プロフィールをスクレイピングし、分析サービスに利用していました。2017年、LinkedInはhiQ Labsのスクレイピングを利用規約違反としてブロックし、訴訟に発展しました。
本事例では、2017年に裁判が始まり、最高裁まで審理が続けられ、最終的に、2022年12月、hiQ LabsはLinkedInに50万ドルを支払い、今後スクレイピングを行わないことで和解しました。さらに、過去に取得したデータやソースコードの破棄も求められました。
このように、スクレイピング自体が違法ではなくても、Webサイトの利用規約によりスクレイピングを禁止している場合があります。Webスクレイピングを行う際には、技術的に可能かどうかだけでなく、対象サイトの規約を確認することが重要です。
そのため、任意のWebサイトでスクレイピングを行う前には、必ず「robots.txt」を確認してください。robots.txtとは、スクレイピングを行うプログラムに対する指示書のことです。
robots.txtには、Webサイト上の指定されたパスへのクロールの許可（あるいは禁止）の表示や、リクエストの間隔などが記載されています。そのため、Webスクレイピング中にアクセスをブロックされないようrobots.txtファイルの記述を理解することが重要です。
参考：Webスクレイピングは違法？合法的なやり方と禁止サイトの確認方法を解説
スクレイピングしたデータは自由に使える？
先述したとおり、スクレイピングは「データ分析を目的とし、新たに自社のデータベースとしてスクレイピングデータを活用する場合は合法」です。しかし、著作権侵害、Webサイトの利用規約違反、機密情報を収集する場合は違法となります。
たとえば、許可なく個人の連絡先情報をスクレイピングし、それを第三者に売却して利益を得ることは違法です。
その上、元ソースを提供せずにスクレイピングされたコンテンツを、あたかも自分自身のものとして再パッケージ化するのも倫理的に問題でしょう。
前述したとおり、スクレイピングは「データ分析を目的とし、新たに自社のデータベースとしてスクレイピングデータを活用する場合は合法」です。しかし、著作権侵害、Webサイトの利用規約違反、機密情報を収集する場合は違法となります。
法律によって、スパム、盗作、またはデータの不正使用は禁止されているので、使用方法を誤らないようにしましょう。
証券会社はスクレイピングを禁止しているのか？
証券会社におけるスクレイピングの制限や禁止ポリシーは各社で異なります。通常、証券会社は自社ウェブサイトやアプリを通じて提供されるデータや情報の利用を厳格に規制しています。
主なスクレイピング制限理由は以下の通りです：
- データの正確性とセキュリティ: 顧客に対して正確で信頼性の高いデータを提供する責任があるため、スクレイピングによるデータの不正確性や改ざんのリスクがある場合は制限されることがあります。
- サーバー負荷とパフォーマンス: 大量のスクレイピングリクエストがサーバーに送信されると、サーバーの負荷が増加し、パフォーマンスが低下する可能性があるため、制限が設けられることがあります。
総じて、スクレイピングをある程度まで容認していますが、使用においては合法性と倫理性を重視しています。利用者はポリシーに留意し、関連する法的規定も遵守しながらデータ収集を行い、迷惑や法的問題を回避するよう慎重に行動するべきです。
その他、スクレイピングに関するQ&A
スクレイピングの違法性や利用規約の問題以外にも、用語や具体的な活用方法など、弊社にはスクレイピングに関する様々な質問が寄せられています。
本章では、スクレイピングに関連したよくある質問について解説します。
スクレイピングとクローリングは同じ？
WebスクレイピングとWebクローリングは、どちらともWeb上の情報収集を行う手法としては共通していますが性質は大きく異なります。
Webスクレイピングは、英語の「Scrape」に由来しており、「削り出す」などの意味があります。つまり、Web上のデータ構造から余分な情報を削り、必要な情報だけを抽出することを指します。営業リストの作成、不動産物件情報の取得、ECサイトの商品在庫データの収集などが代表的な用途として挙げられます。
一方Webクローリングは、サイトクローラーと呼ばれるロボットが目的に応じてWeb上を巡回し、必要な情報を収集することを指します。
たとえば、Googleの検索エンジンはクローラーを用いてWebサイトを巡回し、ページをインデックス化することで検索結果に表示できるようにしています。
プログラミングの知識・経験が必要？
一般的に、スクレイピングはプログラミングによって実行されます。しかし今では、プログラミングを行わずともマウス操作でスクレイピングが簡単にできる「Webスクレイピングツール（データ抽出ツール）」も登場しています。
このようなノーコード（NoCode）で扱えるスクレイピングツールは、マーケティング担当者、統計学者、財務コンサルタント、研究者、ジャーナリストなどの非プログラマーにとって非常に便利なツールとなります。
たとえば、OctoparseではWebスクレイピングテンプレートという機能を提供しています。この機能は、YouTube、X（旧Twitter)、Amazon、eBayなどを含む30以上のWebサイトをカバーしており、テンプレートを呼び出すだけで誰でも簡単にスクレイピングを開始できます。
スクレイピングには、基本的にキーワードやURLなどのパラメータがあれば十分です。これらを指定するだけで、Web上から必要なデータを効率的に抽出できます。
高速なスクレイピングはできる？
Webクローラーがいかに速いものかを示すように、瞬時にデータを集めているスクレイピングの広告を見たことがある方もいるでしょう。確かに、スクレイピングツールを使えば短時間でのデータ収集は可能です。
ただし、Webサイトへのアクセスリクエストが短時間に集中すると、Webサーバーに過度な負荷がかかり、最悪の場合、サーバーがクラッシュする恐れがあります。過去には、スクレイピングによってサーバーに負荷が掛かり、他の利用者が閲覧しにくい状態にしたとして、偽計業務妨害の疑いで逮捕された事例（岡崎市中央図書館事件）もあります。
こうした事態を防ぐためにも、Webサーバーへのアクセス間隔を適切に設定することが重要です。具体的には、人間が通常の閲覧でアクセスする速度と同じく、1秒以上の間隔を空けてクローリングを行うのが望ましいとされています。
APIとWebスクレイピングは同じ？
APIとWebスクレイピングは、どちらも外部からデータを取得する手法として広く知られています。APIは、サービス提供者が開発者向けに用意した機能で、外部リソースからデータを取得し、他のデータと組み合わせることで自社サービスに付加価値を加えられます。
APIにはさまざまな種類があり、代表的なもので言えばAmazon API、X（旧Twitter）API、Instagram APIなどが挙げられます。APIを活用することで、データ取得の効率が向上しますが、取得できるデータはサービス提供者が許可した範囲に限られるということに注意が必要です。
一方、Webスクレイピングでは、ユーザー向けのHTMLコンテンツをコンピュータに解析させるものなので、あらゆるデータを収集できます。画面上に表示される情報であれば、ほぼすべて取得できるのが特徴です。たとえば、Octoparse などのスクレイピングツールを使用すれば、キーワードやURLなどのパラメータを指定するだけで、さまざまなデータを効率的に収集できます。
スクレイピングはWeb全体からデータを抽出できる？
Webスクレイピングは、インターネットに公開されているWebサイト全体、あるいは数十万ページにも及ぶ大規模なWebサイト（AmazonやYahoo!など）からデータをスクレイピングできると思われがちです。
しかし、実際にはこれは現実的ではありません。これは、Webサイトごとにページ構造が異なるためです。効率的にデータを取得するためには、取得対象を特定のジャンルや特定のWebサイトに絞るようにしましょう。
スクレイピングできないサイトかどうかの見分け方は？
Webサイトのスクレイピングの可否を判断するには、以下の要素を確認しましょう。
- 利用規約の確認: Webサイトの利用規約やプライバシーポリシーを確認し、スクレイピングに関する制限や禁止事項が明示的に記載されているかを確認します。サイトによっては、「自動化されたアクセスの禁止」「データの無断取得の禁止」といった条項が含まれている場合があります。
- robots.txtファイルの存在: Webサイトのルートディレクトリ（通常はwww.example.com/robots.txt）にrobots.txtファイルが存在するかどうかを確認します。このファイルには、スクレイピングに対する制限や許可に関する指示が含まれている可能性があります。
- CAPTCHAやIP制限: WebサイトがCAPTCHA（画像認証）を導入している場合、スクレイピングを試みると途中で認証を求められ、データの取得が困難になります。また、特定のIPアドレスからのアクセス回数に制限を設けているサイトもあり、短時間に大量のリクエストを送るとブロックされることがあります。
- ダイナミックなコンテンツ: WebサイトがJavaScriptやAjaxを使用してコンテンツを動的に生成する場合、スクレイピングが難しいことがあります。
- 接続エラーやブロック: スクレイピングを試みた際に接続エラーやアクセスブロックが発生する場合、Webサイトがスクレイピングを制限している可能性があります。
これらの要素を包括的に評価し、Webサイトのスクレイピングが適切かどうかを判断します。
まとめ
本記事では、Webスクレイピングに関する違法性や、よくある疑問について解説しました。Webスクレイピングは、政府機関でも活用する手法であり、それ自体に違法性はありません。しかしながら、扱いを誤ると法的な問題が発生する可能性もあるため、目的・用途に合わせて利用するようにしましょう。
まずはWebスクレイピングを実際に試しながら、使い方に迷った際にはその都度調べて理解を深めると良いでしょう。Octoparse（オクトパス）では、無料でスクレイピングを行うことができます。利用開始後も、ヘルプデスクにお問い合わせいただくことも可能ですので、まずはアカウント登録からはじめてみてください。
ウェブサイトのデータを、Excel、CSV、Google Sheets、お好みのデータベースに直接変換。
自動検出機能搭載で、プログラミング不要の簡単データ抽出。
人気サイト向けテンプレート完備。クリック数回でデータ取得可能。
IPプロキシと高度なAPIで、ブロック対策も万全。
クラウドサービスで、いつでも好きな時にスクレイピングをスケジュール。
