スクレイピングとはなにか｜仕組みやメリット・デメリット、注意点を解説！
Webサイトから情報を収集する手段として「スクレイピング」があります。古くから利用されている技術で、すでに利用している人は多いでしょう。その反面、耳にしたことがあるものの、理解できていない人も多いはずです。
今回は、スクレイピングを使いこなすために、概要やメリット・デメリットを解説します。また、注意点や誤解されやすい点である「スクレイピングは違法であるか」についても解説します。
スクレイピングとは何か
最初に、スクレイピングとはどのような技術であるのか理解を深めておきましょう。
スクレイピングの概要
スクレイピングとは「Webスクレイピング」を指すことが一般的であり、Web上のデータを収集し目的に合わせて加工することです。削るという意味を持つ「scraping」という英単語に由来し、Webサイトのデータを機械的にかき集めます。Web上に存在する大量のデータを、コンピューターで効率よく収集する作業が、スクレイピングに該当すると理解して良いでしょう。
今まで、このようなWebサイト上のデータは、担当者が人力で集めていました。例えば、営業先の候補を一覧化するために、人間がWebサイトを開いてExcelに転記していたのです。しかし、スクレイピングすれば、このような作業を自動化できます。
また、一般的に収集したデータを加工する作業も含まれます。例えば、収集したデータに全角と半角が混じっているならば、半角に揃えるなどです。収集したデータは、別のツールで処理することもあるため、使いやすいようにあらかじめ整えておきます。
クローリングとの違い
スクレイピングと間違えられやすい技術に、クローリングがあります。こちらもWebサイトへ機械的にアクセスして、情報を収集するものです。誤解を生みやすい部分であるため、正しく認識するようにしておきましょう。
スクレイピングとクローリングの大きな違いは「特定の項目だけを収集する」か「全体的に情報を収集する」かです。例えば、スクレイピングは電話番号だけを収集しますが、クローリングは階層を含めてすべてを保存するのです。また、データの活用を踏まえて事前に加工するかどうかの違いもあります。
データを収集するという観点では似たものではありますが、実施の目的などは大きく異なるものです。そのため、Webデータを収集したいと考えている場合は、スクレイピングとクローリングのどちらが適しているか検討したほうが良いでしょう。適切な使い分けが求められるようになっています。
スクレイピングの実施方法
スクレイピングの実施方法は「自分でソースコードを書いて実装する」と「スクレイピングツールを利用する」の2種類に大別されます。どちらも特徴があるため、状況に応じて使い分けると良いでしょう。
まず、自分自身でソースコードを書くならば、自分なりの自由なカスタマイズが可能です。PythonなどWeb系のプログラミング言語でソースコードを記述して、自由にデータを収集したり加工したりできます。ただ、当然ですがプログラミングスキルが必要です。
それに対して、ツールを利用するとWebコンソールなどに必要な情報を入力することで情報を収集できます。簡単にスクレイピングを開始できますが、カスタマイズ性に制限がかかることが一般的です。
なお、スクレイピングを代行してくれるサービスも存在しています。場合によっては、自分で実装や運用するのではなく、このようなサービスを利用した方が、法律面などでも安心です。
スクレイピングは違法行為ではない
スクレイピングについて解説しているWebサイトによっては「違法行為である」と説明していることがあります。このように断言することは、誤りであるため注意しなければなりません。
基本的に、Webサイトに公開されている情報は、人間がアクセスしてもツールがアクセスしても良いものです。「コンピューターなどのツールでアクセスしての情報収集は違法」と説明されることがありますが、正しい理解ではありません。
ただ、データの取得が制限されている場合など、状況によってはスクレイピングできない場合があります。そのため、利用規約などを踏まえて、違法行為にならないか確認しなければなりません。基本的に違法行為ではありませんが、トラブルを避けるためにも後ほど解説する注意点は意識するようにしてください。
スクレイピングのメリット
具体的にスクレイピングを利用することによるメリットを解説します。
Webデータの収集を効率化できる
コンピューターを利用してデータを収集するため、作業効率を大きく高められます。今までは、人間がデータを収集する作業を実施する必要がありましたが、スクレイピングにより概ね機械化できるのです。手動で対応するよりも、はるかに効率的であることは言うまでもありません。
また、コンピューターが作業することによって、ミスが生じてしまう可能性を下げられます。人間が作業を実施すると、どうしても人的なミスを含みがちですが、Webスクレイピングならばそのような問題は起こりづらいのです。完璧にデータを収集できるとは言い切れませんが、人間より正確であり、これも広い意味で効率化といえます。
APIがなくとも情報を収集できる
Webサイトによっては、データを収集しやすいようにAPIが用意されている場合があります。利用者側はAPIにアクセスすることで、素早く情報を取得できるのです。ただ、全てのWebサイトでAPIが提供されているわけではなく、ここでスクレイピングが役立ちます。
スクレイピングであれば、Webサイトにアクセスできるならば基本的に情報の収集が可能です。人間が目に見えている部分だけではなく、内部的に保有している情報までも収集できます。APIが提供されていなくとも、情報収集できることがメリットなのです。
また、APIが提供されている場合でも、必要なデータが含まれていないことがあるでしょう。この場合にも、スクレイピングすることで求めているデータまで手に入れることが可能です。
最新の情報を入手できる
スクレイピングしたタイミングの情報を入手できることは大きなメリットです。概ね最新の情報が手に入り「データを収集したが役に立たない」という状況を回避できます。市場分析など、最新の情報が求められる場合に大きな効果を発揮するのです。
公式に発表されている情報は、必ずしも最新のものであるとは限りません。例えば、半年に1回しか公開されない情報は、内容が陳腐化している可能性があります。しかし、スクレイピングならばデータの収集先を工夫するなどして、最新の情報を集めることが可能です。
もちろん、重要となるのは「どこから情報を収集するか」です。古い情報を提供しているWebサイトをスクレイピングしても、古い情報しか手に入りません。
スクレイピングのデメリット
続いては、これからスクレイピングを導入したい場合に、考慮したいデメリットを解説します。
技術的に難しいサイトが増えている
現在はWeb技術が発展したことで、複雑なサイトが数多く生み出されるようになりました。その結果、今までのように簡単にはスクレイピングできないサイトが増えたのです。この点は、大きなデメリットであると考えましょう。
例えば、トップページはごく簡単なHTMLで構成されていて、詳細な部分はJavaScriptで生成されるWebサイトが登場しました。このようなサイトは、内部構造が複雑であり、スクレイピングではデータを取得できない可能性があるのです。
これは一例ですが、これからは複雑な仕組みのWebサイトが、次々に登場すると予想されます。スクレイピングも進化を続けるとは考えられますが、技術的に難しいことも考えられるのです。
アクセス拒否などの対応を取られる可能性がある
スクレイピングによって頻繁にWebサイトへアクセスすると、アクセス拒否などの対応を取られてしまう可能性があります。例えば、頻繁なアクセスによってWebサイトへ負荷をかけてしまったことで、アクセスを拒否されるのです。Webサーバーの設定によって制御されてしまいます。
アクセスログなどを監視しているWebサイトは、負荷を軽減するためにこのような措置を導入することは十分にありえるでしょう。今まで問題なくスクレイピングできていても、ある日を境にスクレイピングできなくなることが考えられるのです。
Webサイト側にアクセスを拒否された場合は、スクレイピングする側では対応ができません。負荷を与えすぎないようにするなど、データを収集する際の配慮が求められます。
スクレイピングを導入する際の注意点
スクレイピングを導入する際には、いくつかの注意点があります。特に、代行サービスを利用するのではなく、自分たちで実装する場合は、注意点を十分に考慮しなければなりません。
収集するデータの著作権
スクレイピングはWebサイトから情報を収集しますが、これらの大半には著作権が認められています。そのため、著作権を意識して情報収集しないと、違法な情報収集となりかねないのです。
掲載されているデータの権利については、Webサイトの管理者が公開している場合があります。すべてでそのような記載があるとは限りませんが、必ず確認するようにしましょう。データの活用が禁止されている場合は、スクレイピングするべきではありません。
なお、データの著作権については、専門的な知識が必要となることが考えられます。誤った知識で対応してしまうと、トラブルの原因となりかねないため、専門家に相談すると良いでしょう。
robots.txtの確認
利用規約などでデータの権利に問題がないと判明しても、robots.txtを確認しておかなければなりません。一部のエンジニアしか馴染みのないファイルですが、これはロボット(プログラムによるアクセス)について、定義したものです。主に、クロールして良いコンテンツとそうではないコンテンツについて記載されています。
一般的にクロールが禁止されているコンテンツは、管理用コンテンツなど公にしないものです。そのため、スクレイピングにおいても、そのようなコンテンツは収集しないに越したことがありません。制限されているコンテンツを収集してしまうと、著作権などでトラブルが起きる可能性があります。
なお、robots.txt自体はクローラーの動きを制御するもので、法的な意味合いを持つものではありません。そのため、必ずしも著作権上の問題が発生するとは限らないのです。ただ、トラブルを避ける必要があるため、スクレイピングはおすすめできません。
相手側への負荷を考慮
スクレイピングで具体的に情報を収集する際は、相手側への負荷を考慮すべきです。例えば、スクレイピングによって、Webサーバへ極端に負荷がかからないようにしなければなりません。もし、プログラムによるアクセスが原因でサーバーがダウンすると、トラブルが発生してしまいます。
例えば、意図的にサーバーをダウンさせたと判断されると「偽計業務妨害罪」や「電子機器使用詐欺罪」などに問われる可能性があります。自分としてはそのような意図が全くなくとも、スクレイピングされた側が訴えるならば、裁判に発展しかねないのです。
これは極端な例ですが、スクレイピングに限らず負荷をかける行為は、トラブルの原因となりやすいでしょう。アルゴリズムを工夫するなどして、最小限の負荷で情報を収集できるようにしなければなりません。
まとめ
スクレイピングはWebサイトの情報をコンピュータを利用して、機械的に収集する手法です。専用のプログラムやツールを利用し、自動的に収集から加工まで実施します。人間が対応するよりも効率的であり、なおかつ誤りも少ないことが特徴です。
ただ、スクレイピングの実施にあたっては、著作権など法律に注意しなければなりません。Webサイトの管理者がスクレイピングなどでの情報収集を禁止している場合は、スクレイピングできない可能性があります。実施前に確認しなければ、トラブルに発展してしまうかもしれません。
