悪用厳禁！プログラミング不要のWEBスクレイピングツール比較19選

WEBサイトのHTMLから必要な情報を取得技術「Webスクレイピング」。大量のデータを手作業で集めるのは大変ですが、スクレイピング駆使すれば、効率的にデータ収集ができます。」

通常、スクレイピングを行うためにはプログラミングのコードを書かなければいけません。

今回は、プログラミング知識がなく、コードをかけなくてもWEBスクレイピングできるツールを紹介します。

GUI（視覚的）アプリケーションの操作でき、WEB上からデータを取得ができます。
WEBスクレイピングツールは海外系のツールがとても充実しています。

スクイピングは収集元のウェブサイトに負荷をかける場合があり、ウェブサイトによっては、利用規約により禁止しています。
当サイトは一切責任をおえませんので、くれぐれも自己責任にてスクレイピングを行ってください。

WEBスクレイピングとは？

WEBとはスクレイピングとは、ウェブサイトからデータを収集すること。ウェブサイトから手動で情報コピー＆ペーストしてExcelにまとめるという作業も広い意味ではスクレイピングに含ます。

一般的には、ツールやプログラミングを駆使してデータ収集することを指します。

物販での用途・目的としては、通販サイトから商品情報データ取得、分析に役立てることができます。
大きな企業でもマーケティングのためにデータを集める目的でクローリング、スクレピングを行っています。

参考：クローリングとは？Webスクレイピングとは？（外部リンク）

なお、WEBスクレイピングで使われるプログラミング言語はPython（パイソン）が主流です。
Pythonには、スクレピング・クローリングに適した、ライブラリ（特定の機能をもった部品のようなもの）が充実しています。

参考：pythonでできることは？（外部リンク）

WEBスクレイピングツール比較１９選

国内外のWEBスクレイピングツールを１９個紹介します。

import.io | URLコピペで簡単スクレイピング

import.io

提供形態：クラウド版、アプリケーション版
対応OS：　Windows 、Max

import.ioはURLを貼り付けるだけでに簡単にスクレイピングができるツールです。

import.ioからダウンロードします。

import.ioの基本的な使い方は「URL入力で簡単！ WEBスクレイピングツール import.ioの使い方」を読んでください。

Octoparse | Windows用スクレイピングツール

http://www.octoparse.com/

対応OS：Win7/Win8/Win10/Win XP
提供形態：ダウンロード

Octoparseは、視覚的に操作可能なWebスクレイピングツールです。Octoparseは、クラウド上もしくは、ローカルマシン上で抽出を実行できます。スクレピングしたデータは、TXT、CSV、HTML、またはExcel形式でエクスポートすることができます。

Octoparseのの詳しい使い方は「無料！ WEBスクレピングツール Octoparseのインストール方法と使い方」を確認してください。

Web Scraper | グーグルクローム拡張のスクレピングツール

http://webscraper.io/

対応OS：ブラウザの拡張として動作するため、windows、Macどちらでも可能
提供形態：グーグルクローム拡張（無料）、クラウド版（有料）

Web Scraperはグーグルクロームブラウザのプラグイン（拡張）として提供されているスクレピングツール。

Web Scraperは「ページネーションの収集」にも対応しています。ページネーションとは、以下のように複数のページにまたがるページのことです。

ページネーション

Web Scraperの提供提供形態は２通りです。

Web Scraper Extension (Free!)（グーグルクローム拡張）
Cloud Web Scraper（クラウド版）

Web Scraper Extension (Free!)（グーグルクローム拡張）

グーグルクローム拡張の導入方法

webscraperにアクセス
http://webscraper.io/
「Download free on Chrome Store」をクリック

Download free on Chrome Store
クローム拡張追加

クローム拡張追加

例えば、「Amazonのセールランキングページから大カテゴリ、中カテゴリ、小カテゴリを辿り、各カテゴリごとの１〜１００位のASINをまとめて抽出」することも可能です。

※注意 Web Scraperでは収集対象のWEBサイトに負荷がかからないよう間隔を２秒以上あける仕様になっています。しかし、Amazonでのスクレピングは規約に抵触する可能性があります。自己責任で活用してください。

Cloud Web Scraper（クラウド版）

クラウド版の料金

100,000 page credits – $50
250,000 page credits – $90
500,000 page credits – $125
1,000,000 page credits – $175
2,000,000 page credits – $250

参考：webスクレピングツール「web scraper」を使ってAmazonから一括ASIN取得する方法（保護中コンテンツ）

Scraper | グーグルクローム拡張のスクレピングツール

Scraperは一つのページから簡易的なスクレピングを行うのに向いたツールです。

提供形態：グーグルクローム拡張
対応OS：ブラウザの拡張として動作するため、windows、Macどちらでも可能

Dexi.io

Dexi.io

価格：無料/月$119ドル/問い合わせ

Dexi.ioは、ダウンロードを必要としないWebベースのスクレイピングアプリケーションです。ブラウザベースのツールで、クローラを設定してリアルタイムでデータを取得できます。

Dexi.ioには、スクラップしたデータをBox.netやGoogleドライブに直接保存したり、JSONやCSVファイルとしてエクスポートする機能もあります。また、プロキシサーバーを使用して匿名でデータをスクレイピングすることもサポートしています。収集したデータは、アーカイブされる前に最大2週間、サーバー上でホストされます。