悪用厳禁!プログラミング不要のWEBスクレイピングツール 比較19選

WebスクレイピングとはWEBサイトのHTMLから必要な情報を取得することです。
大量のデータを手作業で集めるのは大変ですが、スクレイピング駆使すれば、効率的にデータ収集できます。

通常、スクレイピングを行うためにはプログラミングのコードを書かなければいけません。

今回は、プログラミング知識がなく、コードをかけなくてもWEBスクレイピングできるツールを紹介します。

GUI(視覚的)アプリケーションの操作でき、WEB上からデータを取得ができます。
WEBスクレイピングツールは海外系のツールがとても充実しています。

注意 スクイピングは収集元のウェブサイトに負荷をかける場合があり、ウェブサイトによっては、利用規約により禁止しています。
当サイトは一切責任をおえませんので、くれぐれも自己責任にてスクレイピングを行ってください。

WEBスクレイピングとは?

WEBとはスクレイピングとは、ウェブサイトからデータを収集することを言います。
ウェブサイトから情報コピー&ペーストしてExcelにまとめるという作業も広い意味ではスクレイピングに含まれません。

一般的には、ツールやプログラミングを駆使してデータ収集することを指します。

物販での用途・目的としては、通販サイトから商品情報データ取得、分析に役立てることができます。
大きな企業でもマーケティングのためにデータを集める目的でクローリング、スクレピングを行っています。

参考:クローリングとは?Webスクレイピングとは?(外部リンク)

なお、WEBスクレイピングで使われるプログラミング言語はPython(パイソン)が主流です。
Pythonには、スクレピング・クローリングに適した、ライブラリ(特定の機能をもった部品のようなもの)が充実しています。

参考:pythonでできることは?(外部リンク)

WEBスクレイピングツール 比較19選

国内外のWEBスクレイピングツールを19個紹介します。

URLコピペでスクレイピング「import.io」

https://www.import.io/

import

import.io

import.ioはURLを貼り付けるだけでに簡単にスクレイピングができるツールです。

  • 提供形態:クラウド版、アプリケーション版
  • 対応OS: Windows 、Max

import.ioからダウンロードします。

import.ioの基本的な使い方は「URL入力で簡単! WEBスクレイピングツール import.ioの使い方」を読んでください。

windows用スクレイピングツール「Octoparse」

http://www.octoparse.com/

octoparse

  • 対応OS Win7/Win8/Win10/Win XP
  • 提供形態 ダウンロード

Octoparseは、視覚的に操作可能なWebスクレイピングツールです。Octoparseは、クラウド上もしくは、ローカルマシン上で抽出を実行できます。スクレピングしたデータは、TXT、CSV、HTML、またはExcel形式でエクスポートすることができます。

Octoparseのの詳しい使い方は「無料! WEBスクレピングツール Octoparseのインストール方法と使い方」を確認してください。

グーグルクローム拡張のスクレピングツール 「Web Scraper」

web-scraper
http://webscraper.io/

Web Scraperはグーグルクローム拡張のスクレピングツールです。

  • 対応OS:ブラウザの拡張として動作するため、windows、Macどちらでも可能
  • 提供形態:グーグルクローム拡張(無料)、クラウド版(有料)

Web Scraperはページネーションの収集にも対応しています。ページネーションとは、以下のように複数のページにまたがるページのことです。

ページネーション

ページネーション

Web Scraperの提供提供形態は2通りです。

  • Web Scraper Extension (Free!)(グーグルクローム拡張)
  • Cloud Web Scraper(クラウド版)

Web Scraper Extension (Free!)(グーグルクローム拡張)

グーグルクローム拡張の導入方法

  1. webscraperにアクセス
    http://webscraper.io/
  2. 「Download free on Chrome Store」をクリック

    Download free on Chrome Store

    Download free on Chrome Store

  3. クローム拡張追加

    クローム拡張追加

    クローム拡張追加

例えば、「Amazonのセールランキングページから大カテゴリ、中カテゴリ、小カテゴリを辿り、各カテゴリごとの1〜100位のASINをまとめて抽出」することも可能です。

※注意 Web Scraperでは収集対象のWEBサイトに負荷がかからないよう間隔を2秒以上あける仕様になっています。しかし、Amazonでのスクレピングは規約に抵触する可能性があります。自己責任で活用してください。

Cloud Web Scraper(クラウド版)

クラウド版の料金

  • 100,000 page credits – $50
  • 250,000 page credits – $90
  • 500,000 page credits – $125
  • 1,000,000 page credits – $175
  • 2,000,000 page credits – $250

参考:webスクレピングツール「web scraper」を使ってAmazonから一括ASIN取得する方法(保護中コンテンツ)

グーグルクローム拡張のスクレピングツール「Scraper」

scraper

Scraperは一つのページから簡易的なスクレピングを行うのに向いたツールです。

  • 提供形態:グーグルクローム拡張
  • 対応OS:ブラウザの拡張として動作するため、windows、Macどちらでも可能

Dexi.io

https://dexi.io/

Dexi.io

Dexi.ioは、ダウンロードを必要としないWebベースのスクレイピングアプリケーションです。ブラウザベースのツールで、クローラを設定してリアルタイムでデータを取得できます。

Dexi.ioには、スクラップしたデータをBox.netやGoogleドライブに直接保存したり、JSONやCSVファイルとしてエクスポートする機能もあります。また、プロキシサーバーを使用して匿名でデータをスクレイピングすることもサポートしています。収集したデータは、アーカイブされる前に最大2週間、サーバー上でホストされます。

価格プラン

Webhose.io.

https://webhose.io/

Webhose.io.の使い方は「WEBスクレピングツール Webhose.io」を参照してください。

Scrapinghub

https://scrapinghub.com/

https://scrapinghub.com/

VisualScraper

http://www.visualscraper.com/

http://www.visualscraper.com/

価格

グーグルスプレッドシート

https://www.google.com/intl/ja_jp/sheets/about

https://www.google.com/intl/ja_jp/sheets/about

グーグルスプレッドシートとはgoogleが提供しているWEB上で使える表計算ソフトです。

  • 対応OS:ウェブ上で使うため、windows、Macどちらでも可能

グーグルスプレッドシートはスクレイピングツールというわけでありませんが、
「importxml」関数でWEBからデータを取得することができます。

=IMPORTXML(URL, Xpath)

80legs

http://80legs.com/

http://80legs.com/

80legsの価格プランは5通りです。
無料からでも利用できるスクレピングツールです。

無料プランでは同時複数のクロールを動かすことはできます。1回あたり、10,000 URLまで取得できます。

FireFoxアドオンのスクレピングツール「Outwit Hub

https://addons.mozilla.org/en-US/firefox/addon/outwit-hub/

https://addons.mozilla.org/en-US/firefox/addon/outwit-hub/

  • 対応OS:ブラウザの拡張として動作するため、windows、Macどちらでも可能
  • 提供形態:FireFoxアドオン(拡張機能)

Fminer

http://www.fminer.com/

http://www.fminer.com/

Fminerはウェブサイトからデータをできるだけ簡単かつ直感的に抽出できるスクレピングツールです。
単純なWebページからデータをスクレピングはもちろんのこと、
プロキシサーバーのリスト、Ajax処理、および多層クロールを必要とする複雑なプロジェクトを実行にも対応できます。

parsehub

https://www.parsehub.com/

https://www.parsehub.com/

スポンサーリンク

Parsehubは、AJAX、JavaScript、リダイレクト、およびCookieを使用するサイトからの複雑なデータ抽出をサポートするWebスクレイピングソフトウェアです。

  • Web上の文書を読み込んで解析し、関連するデータを出力できる機械学習技術を備えている
  • ParsehubはWindows、Mac、Linuxのデスクトップクライアントとして利用きる
  • ブラウザ内で使用できるWebアプリケーションあり

parsehubの価格プラン

  • Everyone
  • Standard
  • Professional
  • Enterprise

対応OS:windows、Mac、Linax

Web Robots

https://webrobots.io/

https://webrobots.io/

クローム拡張

Grepsr

Grepsr | Web Scraping Made Simple, Fast & Manageable
Simplify web scraping with easy-to-use data extraction platform and manage it better with full-featured project management tools and support. Sign up free!

https://www.grepsr.com/

Instant Data Scraper

Instant Data Scraper
Web scraper crawls listing type data from multiple pages. Tested to scrape YP, Yelp, Ebay, Amazon, etc. Save as Excel or CSV.

提供形態:クローム拡張

Friendly Scraper

Friendly Scraper | Web Scraping
fScraper is a smart web scraping and data extraction platform that extracts and generates data from Facebook pages, group, location, event, and searches.

https://fscraper.com/

uScraper

https://uscraper.com/#howitsworks

https://uscraper.com/#howitsworks

kimono※サービス閉鎖

kimono

提供形態 デスクトップアプリケーション

対応OS Mac、Windows

https://www.kimonolabs.com/

ダウンロードページ
https://www.kimonolabs.com/desktop

Kimonoは2016年2月29日に閉鎖サービス閉鎖しました。

WebスクレイパーサービスKimono LabsがPalantirに買収され、サービスは2月末に閉鎖へ | TechCrunch Japan
Y Combinatorで育ったWebスクレイパー、Kimono Labsは、ユーザーであるデベロッパーが自分でスクレイパーを書かなくてもWebサイトから情報をかき集めてくれる。その同社...

quickcode.io

https://scraperwiki.com/

QuickCode

quickcode.io(旧:ScraperWiki)は、スクレピングのコード(Ruby, PHP, Python)を共有するサイトを提供しています。

  • ScraperWikiサイト上から直接コードを編集や実行できる
  • 定期的にスクレイプを実行することができる。
  • スクレイピングで取得してデータはScraperWiki上に保存される
  • APIを通して、データを再利用することが可能

websundew

http://www.websundew.com/

Web Scraping, Web Extraction, WebSundew

スクレイピングの注意

クレイピングの注意点や法律については「qiita」でわかりやすくまとめられた記事あります。
※外部サイトです。

Webスクレイピングの注意事項一覧 - Qiita
#はじめにWebスクレイピングで誰も嫌な思いをしなくて済むように、注意事項一覧を作りました。ただ、法律の専門家による解釈ではないので責任は取れません。この記事は...
Webスクレイピングの法律周りの話をしよう! - Qiita
4日目になるまでに残り1時間なので、急ぎで書きます。後、私は法律の専門家ではないので記事の正確性は保証できません。自己責任でお願いします。#はじめにWebスクレイ...

 

まとめ

紹介しているスクレイピングはすべて海外製のサービスです。

英語無理!と言わず触ってみてください。
こうした、インターフェイスがシンプルで使いやすいものは海外製であることが多いです。

ツールやサービスを探すとき、検索対象を海外にも広げてみましょう。
インターネット上で使わている言語の中で、最も多くを占めている言語は英語です。

日本語は僅かに過ぎません。
広大なネット空間で日本語情報のみにアクセスすることは、
限られた情報しか得られないことを意味します。

サービスの提供側すると、
絶対的な見込み利用者数を考えたとき、
英語ベースでサービス提供する方が見込み利用者数の天井値が高くなります。

見込み利用者数が多いということは、
その分、一人の利用数の当たりの単価は引き下げることができます。

日本語ローカルライズが必須がとなるサービスは別として、
WEBスクレピングなど、汎用性が高く、世界中で需要のあるサービスであれば、
英語ベースのサービスの方が安く提供できるのはこの為です。

この記事が参考になりましたら、ぜひ「いいね!」、シェアをお願いします。
Pocket
[`evernote` not found]

スポンサーリンク