Webスクレイピングは、WebサイトのHTMLから必要な情報を自動的に集める技術です。本来はプログラミングのコードが欠かせませんが、最近はコードを書かずに操作できるツールも増えてきました。この記事では、プログラミング不要で扱えるWebスクレイピングツールを19種類取り上げ、提供形態や対応環境を整理します。
Webスクレイピングとは
Webスクレイピングとは、Webサイトからデータを収集することを指します。画面の内容を手でコピーして表計算ソフトに貼り付ける作業も広い意味では含まれますが、一般にはツールやプログラムで自動的に集めることをいいます。くわしい概要はクローリングとWebスクレイピングの解説が参考になります。
自動収集で主流の言語はPython（パイソン）です。Pythonには収集に向いたライブラリ（機能をまとめた部品）が豊富にそろっています。言語の用途はPythonでできることにまとまっています。
無料ツールとChrome拡張型の選び方
ノーコードのスクレイピングツールは、パソコンに入れて使うインストール型、ブラウザだけで完結するクラウド型、ChromeやFirefoxに追加する拡張型の3つに大きく分かれます。無料プランから試せるものも多く、はじめは費用をかけずに操作感を確かめられます。
ブラウザ拡張型はChromeで手軽に動かせる点が魅力で、Web ScraperやScraper、Instant Data Scraperなどが代表例です。まずは収集したいデータ量と予算から絞り込むとよいでしょう。
ノーコードスクレイピングの要点
- ノーコードツールは画面操作だけでデータ収集ができる
- 提供形態はインストール型・クラウド型・ブラウザ拡張型に大きく分かれる
- 無料プランから試せるツールも多い
- 収集先サイトの利用規約や負荷への配慮が欠かせない
Webスクレイピングツール比較19選
ここからは国内外のツールを19種類紹介します。多くが海外製で、無料で試せるものも含まれます。代表的なツールの違いは次の表にまとめました。
スクレイピングツール比較表
| ツール名 | 提供形態 | 対応環境 | 無料プラン |
|---|---|---|---|
| import.io | クラウド・アプリ | Windows・Mac | あり（要確認） |
| Octoparse | インストール | Windows中心 | あり |
| Web Scraper | Chrome拡張 | Windows・Mac | あり |
| ParseHub | インストール・Web | Windows・Mac・Linux | あり |
| Googleスプレッドシート | Web | Windows・Mac | 無料 |
それぞれの特徴を順番に見ていきます。
import.io｜URLの貼り付けだけで使えるツール
import.ioは、収集したいページのURLを貼り付けるだけで手軽に使えるツールです。クラウド版とアプリケーション版があり、WindowsとMacに対応します。
ダウンロードはimport.io公式サイトから行えます。基本的な手順はimport.ioの使い方の記事でくわしく解説しています。
料金はimport.ioの料金プランで確認できますが、内容は変わる場合があるため最新情報を確かめるとよいでしょう。
Octoparse｜Windows向けのスクレイピングツール
Octoparseは画面を見ながら操作できるツールで、Octoparse公式サイトから入手できます。Windows系OSに対応しています。
クラウド上でもローカルでも抽出でき、取得データはTXTやCSV、HTML、Excelで書き出せます。導入方法はOctoparseのインストールと使い方の記事にまとめています。
Web Scraper｜Chrome拡張型のツール
Web Scraperは、Chromeブラウザの拡張機能として提供されるツールです。拡張として動くため、WindowsでもMacでも利用できます。
複数ページにまたがる「ページネーション」の収集にも対応します。ページネーションとは、下の画像のように内容が何ページにも分かれている状態のことです。
提供形態は無料のChrome拡張版と、有料のクラウド版の2通りです。拡張版の導入はWeb Scraper公式サイトから行い、「Download free on Chrome Store」を選んで追加します。
Amazonのランキングから各カテゴリのASINをまとめて抽出するといった使い方も考えられます。ただしサイトによっては規約に触れる可能性があるため、自己責任での利用をおすすめします。
クラウド版はページ数に応じた有料プランが用意されており、大量のページを処理したいときに向いています。
Scraper｜手軽に使えるChrome拡張
Scraperは、1つのページから簡易的にデータを取り出すのに向いたChrome拡張型のツールです。拡張として動くため、WindowsでもMacでも使えます。
Dexi.io｜ダウンロード不要のクラウド型
Dexi.ioは、インストールせずブラウザ上で使えるクラウド型のツールで、Dexi.io公式サイトから利用できます。クローラーを設定してリアルタイムにデータを取得します。
取得データはGoogleドライブなどへ直接保存でき、JSONやCSVでの書き出しにも対応します。プロキシ経由での匿名収集もできるとされています。料金プランは次のとおりです。
Webhose.io
Webhose.ioはWebデータをフィード形式で提供するサービスで、現在はWebz.io（旧Webhose.io）という名称で運営されています。使い方はWebhose.ioの解説記事も参考になります。
Scrapinghub
Scrapinghubは、クラウド上でクローラーを動かせるサービスです。くわしくはScrapinghub公式サイトで確認できます。
VisualScraper
VisualScraperは画面操作でデータを抽出できるツールで、VisualScraper公式サイトで紹介されています。提供状況は変わる場合があります。
価格
Googleスプレッドシート｜関数でデータを取得
Googleスプレッドシートは、Googleが提供する無料の表計算ソフトです。WindowsでもMacでも使え、Googleスプレッドシートの紹介ページから始められます。
専用の関数を使うと、Web上のデータを直接取り込めます。書式は次のとおりです。
| =IMPORTXML(URL, Xpath) |
URLと取り出したい位置を指定すると、該当するデータがシートに表示されます。
80legs
80legsは80legs公式サイトで提供されるクローリングサービスで、くわしくは80legsの解説記事も参考になります。
料金は80legsの料金プランに複数用意され、無料プランからでも利用できます。無料プランでは1回あたり10,000件までのURLを取得できるとされています。
Outwit Hub｜Firefoxアドオンのツール
Outwit Hubは、Firefoxのアドオン（拡張機能）として動くツールです。拡張として動作するため、WindowsでもMacでも利用できます。入手はOutwit Hubのアドオンページから行えます。
FMiner
FMinerは、Webサイトから直感的にデータを抽出できるツールで、FMiner公式サイトで紹介されています。単純なページだけでなく、プロキシやAjax処理、多層的なクロールを伴う複雑な収集にも対応するとされています。
ParseHub｜複雑なサイトに対応
ParseHubは、JavaScriptやCookieを使うサイトからの抽出にも対応するツールで、ParseHub公式サイトから利用できます。WindowsやMac、Linux向けのクライアントのほか、ブラウザ上で使えるWebアプリも用意されています。
料金プランは次の4区分が基本です。
- Everyone（無料）
- Standard
- Professional
- Enterprise
Web Robots
Web RobotsはWeb Robots公式サイトで提供されるツールで、Web RobotsのChrome拡張からも導入できます。
Grepsr
Grepsrは、データ抽出を管理しながら進められるサービスで、Grepsr公式サイトで紹介されています。
Instant Data Scraper｜Chrome拡張のツール
Instant Data Scraperは、一覧形式のデータを複数ページにわたって取得できるChrome拡張型のツールです。取得結果はExcelやCSVで保存できます。
Friendly Scraper
Friendly Scraperは、Friendly Scraper公式サイトで提供されるデータ抽出サービスです。提供内容は変わる場合があるため、最新の情報を確認するとよいでしょう。
uScraper
uScraperは、Web上のデータ収集を支援するサービスで、仕組みはuScraper公式サイトで紹介されています。
kimono※サービス終了
kimonoはデスクトップアプリ型のツールでしたが、現在は提供が終了しています。kimonoの公式サイトやダウンロードページも閉鎖済みです。
kimonoは2016年2月29日にサービスを終了しました。買収にともなう閉鎖だったと伝えられています。
quickcode.io｜旧ScraperWiki
quickcode.io（旧ScraperWiki）は、収集用のコードを共有できるサービスで、QuickCodeから利用できます。RubyやPHP、Pythonのコードを扱えます。
サイト上で直接コードを編集・実行でき、定期的な収集やAPIを通じたデータの再利用にも対応するとされています。
WebSundew
WebSundewは、Webページからのデータ抽出に対応するツールで、WebSundew公式サイトで紹介されています。
Webスクレイピングの注意点
スクレイピングは収集先のサイトに負荷をかけることがあり、利用規約で禁止している場合もあります。法律や注意点については、次のQiitaの記事がわかりやすくまとまっています。トラブルを避けるため、自己責任での実施をおすすめします。
まとめ
プログラミング不要のWebスクレイピングツールは、拡張型からクラウド型まで数多くそろっています。多くが海外製で、無料から試せるものも少なくありません。ツール選びに迷ったら海外製にも目を向け、収集先の規約を守りながら目的に合う一つを探してみてください。