2024.01.31
Pythonを使ったスクレイピングでできることは？やり方も解説
Pythonを使ったスクレイピングは、開発者から注目を集めています。スクレイピングにはさまざまな手法がありますが、今回はPythonを使うことにフォーカスしてスクレイピングでできることを解説します。
すでにPythonに携わっている方はもちろん、スキルアップしたい方、これから学びたいと思っている方も、利用できるライブラリや具体的なやり方まで紹介するので、ぜひ目を通してください。
この記事でわかること
- Pythonを使ったスクレイピングでできること
- 利用できるライブラリ
- Pythonを使ってスクレイピングする手順
- 実践するうえでの注意点
目次
Pythonを使ったスクレイピングでできること
Pythonは、ビジネスにおいてさまざまな定型や単純作業などを、自動化する際に良く使われるプログラミング言語で、スクレイピングする際にも活用できます。スクレイピングとは、Webから任意の情報を集めることを指し、たとえば、市場調査やデータ分析などに役立てることができます。
具体的にPythonを使ってスクレイピングした際にできることとして、業務自動化を含む次のようなものが挙げられます。
- ニュースサイトから情報を収集し、内容の要約や保存ができる
- 株価情報を取得して、グラフ化やデータ保存ができる
- 検索エンジンで検索して条件にあう結果を求める
- 社内で管理するデータを自動収集し、Excelなどにまとめる
- 手作業で行うリスト作成を、Webから情報収集して自動作成する
- ECサイトから価格・レビュー・評価・商品情報などを自動で収集する
- 特定のキーワードの検索上位のタイトルや説明文を収集し、SEO対策に最適な文言を作る
- 求人サイトから求人情報を一括収集して、自分にマッチする求人を出す
このようなことが自動でできる場合、生活やビジネスにおいて相当便利になることが予測できます。
Pythonを使ったスクレイピングで利用できるライブラリ
Pythonにはスクレイピングに活用できるライブラリが複数用意されており、そのなかでも人気がある利用者が多いものを紹介します。それぞれに特徴やできることが異なるので、用途や目的に合わせて選ぶことをおすすめします。
Requests
Requestsは、スクレイピングするうえでWebページの取得が得意です。その一方でデータの取得や保存はできませんが、簡単にWebページを自動でダウンロードできます。データがほしいときは、別のライブラリを使って必要な情報のみを収集することで、データに関する不得手をカバーできます。
また、プログラミングの際は、シンプルな記述ができることが特徴で、ぱっと見てわかりやすい記述が可能です。
Beautiful Soup
Beautiful Soupは、取得したWebページから、特定の情報を取得することが得意です。あらかじめWebページは別のライブラリで取得しておくことが前提となります。ページのソースコードを解析して、タグや属性を指定して情報を抽出します。
また、動的なコンテンツにはアクセスできないため、その点には注意が必要です。具体的な役割としては、ニュースサイトやブログなどから情報を集めたい、特定の商品について自動で情報収集して、トレンドや価格帯を把握したい場合などに適しています。
Selenium
Seleniumは、Webページとデータの取得に長けていることが特徴です。動的なコンテンツにも対応可能であり、ページ内のボタンなどのようなコンテンツも操作することができます。
また、ブラウザを制御できるためスクレイピングのみならず、アプリのテストにも使用します。ChromeやFirefoxなどのように異なるブラウザであったとしても、それぞれに制御しつつ、テキスト入力やボタンのクリック、各種アプリの実行をテストできるのが魅力です。
Seleniumのインストール方法は、こちらをご覧ください。
Scrapy
Scrapyは、Pythonのスクレイピング・クローリング専用のフレームワークで、Webページからのデータ取得が得意です。データ取得に必要なある程度の機能を備えるフレームワークなので、収集したい内容をある程度設定するだけで自動で収集することができます。
Webページの取得・データの取得・保存まですべて対応することに加え、ファイルに出力する際はCSVやXMLなどにコマンド1つで操作できるのも魅力といえます。
Pythonを使ったスクレイピングのやり方
スクレイピングをする際は、使用するライブラリによりさまざまな方法がありますが、Pythonを使った大まかな流れを解説します。先に紹介したライブラリを使用する場合でお伝えするので、ぜひ参考にしてください。
手順1：ライブラリをインストールする
はじめに、Webページとデータを収集するためにRequestsとBeautiful Soupをインストールします。Requestsはpipを使用してインストールしますが、pipのバージョンが3の場合は、pip3の記述が必要になるので、その点には注意が必要です。pipに問題がなければとくに大きな問題なくインストールできます。コマンドは次のとおりです。
| pip install requests beautifulsoup4 |
手順2：Webページをダウンロードする
次に、Requestsを使い、下記コマンドを記述してWebページをダウンロードします。「url」の部分にはデータを取得したいページを指定し、これがYahoo!ニュースの場合なら「https://news.yahoo.co.jp」が入ります。
| import requests url = “https://” response = requests.get(url) html = response.text |
手順3：データを検索・抽出する
そして、ダウンロードしたWebページを解析するために、Beautiful Soupを使って欲しいデータを指定して抽出します。
| from bs4 import BeautifulSoup soup = BeautifulSoup(html, “html.parser”) title = soup.find(“h1”).text |
データを取得する際に動的なコンテンツが含まれる場合は、Beautiful Soupではアクセスできないので、その際はSeleniumを使うのがおすすめです。
手順4：抽出したデータを保存する
その後、抽出したデータを保存します。保存する際はCSVなど任意の形式で保存します。以上がPythonを使ったスクレイピングの大まかな流れです。スクレイピングにはさまざまなオプションがあり、これらを活用することでより条件を絞ることもできます。
Pythonを使ったスクレイピングの注意点
ビジネスの場面では、一括で大量の情報を得たい・活用したいことが珍しくありませんが、多くの情報を収集することに対し、誰にも断らずに自由に情報を得ていいのか？と思う方もいるのではないでしょうか。
こうした考え方はとても大切な部分であり、今後、Pythonを使ってスクレイピングする際にも気をつけなければならないところです。ここでは、スクレイピングをする際に確認したいことや注意したいことについて解説します。
スクレイピングを禁止していないか確認すること
スクレイピングをする際は、情報を集めたいWebサイトがスクレイピングを禁止しているかどうかの確認が必要です。これは主に利用規約などに明記されているもので、サイトの方針によっては禁止しているケースがあります。
もしも、禁止されているのにスクレイピングを行った場合は、トラブルに発展する恐れがあるほか、場合によっては法的措置を取られる可能性も出てきます。Webサイトとして公開しているのだから、問題ないだろうと思っても、情報収集をするマナー・ルールとしてしっかり利用規約を確認するようにしてください。
robots.txtの記述を確認すること
事前に確認しておきたい項目として「robots.txt」の記述が挙げられます。これは、Webサイトを巡回するクローラーに対して、巡回の可否を記したファイルです。ブラウザから簡単に確認できるほか、利用規約がないサイトの場合でもスクレイピングを禁止しているかを確かめることができる方法です。
やり方はシンプルで、収集したいサイトのTOPページのURLのあとに「robots.txt」をつけてエンターキーを押すだけです。たとえば「https://dtnavi.tcdigital.jp//robots.txt」となります。スクレイピングを禁止している場合は「User-agent：ia_archiver」などの、クロールを禁止するページや表示があるので、この点は覚えておいてください。
また、スクレイピングを許可しているサイトの代表的なものとしては、WebAPIを公開しているサイトが挙げられます。WebAPIはWebサービス側から開発者に向けて情報を公開している状態で、この場合だと公式でスクレイピングができるほか、データの2次利用ができる場合もあります。
Webサーバーに負荷をかけないようにすること
多くのデータを取得したい場合、そのサイトのサーバーに負荷をかける可能性があります。どの程度の負荷なのかにもよりますが、アクセスしにくい状況になる、サーバーが落ちてしまうレベルだと迷惑行為になりかねません。
迷惑行為として認識された場合は、違法性も出てくるため、スクレイピングが許可されているサイトだったとしても、アクセスする間隔をあけるなど程度をわきまえて行うことが大切です。
取得したデータの利用目的や範囲を守ること
取得したデータは、原則として2次利用や第三者にそのまま譲渡してしまうと、著作権に抵触する可能性があります。そのため、自身（自社）の情報収集と分析のために使用する、2次利用は基本的にしないといったことを徹底することをおすすめします。
こちらの記事では、Kotlinについて、Javaとの違いやできること、将来性まで解説しますのでAndroidアプリケーション開発やサーバーサイド開発を検討している方はぜひご覧ください。
スクレイピングで効率よく情報収集しよう
Pythonでのスクレイピングは、多くの情報収集を自動でできることや、欲しい情報のみを抽出できるなど、便利に活用できることをお伝えしました。ビジネスの場では、ときに重要な役割を担うこともある、知っておきたい技術の1つです。
また、現在手作業で行っている業務を自動化することにも貢献するため、業務そのものの効率化を図ることにも役立ちます。しかし、スクレイピングを禁止しているサイトがあることや、先方のサイトのサーバーに負荷がかかること、取得したデータの取り扱いには注意が必要など、いくつか注意しなければならない点もあります。
実際にスクレイピングを行う際は、このような注意点に気をつけて、活用することが大切です。また、Pythonを習得したい方やWeb開発に取り組む方にとっては、スキルアップにもつながります。いざというときに、活用できるよう今から習得することをおすすめします。
