悪用厳禁!プログラミング知識の不要のWEBスクレイピングツール 比較19選

簡単にスクレイピングができたらなーと考えたことはありませんか?

ノンププログラマーでも使えるプログラミング知識の不要のWEBスクレイピングツールの紹介します。
「Python?PHP?無理無理!」という人でもGUIベースでスクレピングを行うことができます。
これらのツールを使うことで、スクレイピング用のコードを記述しなくともWEBからデータの取得ができます。

物販での用途・目的としては、通販サイトから商品情報データ取得、分析に役立てることができます。
WEBスクレイピングツールは海外系のツールが充実しています。

※注意
スクイピングは収集元のウェブサイトに負荷をかける場合があります。
ウェブサイトによっては、利用規約により禁止されている
当サイトは一切責任をおえませんので、くれぐれも自己責任にてスクレイピングを行ってください。

スポンサーリンク



WEBスクレイピングツール 比較7選

URLコピペでスクレイピング「import.io」

https://www.import.io/

import

import.io

  • 提供形態:クラウド版、アプリケーション版
  • 対応OS: Windows 、Max

以下のページからダウンロードします。

ダウンロードページ
https://www.import.io/standard-plans/

import.ioの基本的な使い方は「URL入力で簡単! WEBスクレイピングツール import.ioの使い方」を読んでください。

windows用スクレイピングツール「Octoparse」

http://www.octoparse.com/

octoparse

  • 対応OS Win7/Win8/Win10/Win XP
  • 提供形態 ダウンロード

スクレピングツールのOctoparseのインストール方法や使い方は以下の記事を参照してください。

Octoparseは、視覚的に操作可能なWebスクレイピングツールです。
このソフトウェアは、ターゲットのWebサイトからデータを訪問したり削ったりしながら、人間のユーザーを模倣します。
Octoparseは、クラウド上もしくは、ローカルマシン上で抽出を実行できます。
スクレピングしたデータは、TXT、CSV、HTML、またはExcel形式でエクスポートすることができます。

グーグルクローム拡張のスクレピングツール 「Web Scraper」

web-scraper
http://webscraper.io/

  • 対応OS:ブラウザの拡張として動作するため、windows、Macどちらでも可能
  • 提供形態:グーグルクローム拡張(無料)、クラウド版(有料)

グーグルクローム拡張に追加して使うタイプのスクレピングツールです。
ページネーションにも対応しています。
ページネーションとは?以下の画像のように複数のページにまたがるページのおこです。

Web Scraperの提供提供形態は2通りです。

  • Web Scraper Extension (Free!)(グーグルクローム拡張)
  • Cloud Web Scraper(クラウド版)

Web Scraper Extension (Free!)(グーグルクローム拡張)

グーグルクローム拡張の導入方法

  1. webscraperにアクセス
    http://webscraper.io/
  2. 「Download free on Chrome Store」をクリック
  3. クローム拡張追加

例えば、「Amazonのセールランキングページから大カテゴリ、中カテゴリ、小カテゴリを辿り、各カテゴリごとの1〜100位のASINをまとめて抽出」することも可能です。

※注意
Web Scraperでは収集対象のWEBサイトに負荷がかからないよう間隔を2秒以上あける試用になっています。
しかし、Amazonでのスクレピングは規約に抵触する可能性があります。
当サイトは一切責任をおえませんので

 

Cloud Web Scraper(クラウド版)

クラウド版の料金

  • 100,000 page credits – $50
  • 250,000 page credits – $90
  • 500,000 page credits – $125
  • 1,000,000 page credits – $175
  • 2,000,000 page credits – $250

スクレイピングツールWeb Scraperの使い方は以下の記事を参考にしてください。

web scraperを使いAmazonからASIN取得する方法 - Amazon輸出・輸入・ebay・越境EC 攻略ブログ
グーグルクローム用プラグイン「web scraper」を使いAmazonからASIN取得する方法を解説します。 この記事では最もシンプルに1ページから収集する方法を紹介します。 取...

グーグルクローム拡張のスクレピングツール「Scraper」

scraper

単位のページから簡易的なスクレピングに向いたツールです。

  • 提供形態:グーグルクローム拡張
  • 対応OS:ブラウザの拡張として動作するため、windows、Macどちらでも可能

グーグルクロームのプラグインです。

 

Dexi.io

https://dexi.io/

Dexi.io

Dexi.ioは、ダウンロードを必要としないWebベースのスクレイピングアプリケーションです。
ブラウザベースのツールで、クローラを設定してリアルタイムでデータを取得できます。
Dexi.ioには、スクラップしたデータをBox.netやGoogleドライブに直接保存したり、JSONやCSVファイルとしてエクスポートする機能もあります。
また、プロキシサーバーを使用して匿名でデータをスクレイピングすることもサポートしています。
収集したデータは、アーカイブされる前に最大2週間、サーバー上でホストされます。

価格プラン

Webhose.io.

https://webhose.io/

Webhose.io.の使い方は以下の記事を参照してください。

WEBスクレピングツール Webhose.io
WEBスクレピングツール Webhose.ioを紹介します。Webhose.ioとは?https://webhose.io/Webhose.ioの価格1000クエリまでは無料です。Webhose.ioの登録Webhose.ioを利用す...

Scrapinghub

https://scrapinghub.com/

https://scrapinghub.com/

VisualScraper

http://www.visualscraper.com/

http://www.visualscraper.com/

価格

グーグルスプレッドシート

https://www.google.com/intl/ja_jp/sheets/about

https://www.google.com/intl/ja_jp/sheets/about

  • 対応OS:ウェブ上で使うため、windows、Macどちらでも可能

グーグルスプレッドシートはスクレイピングツールというわけでありませんが、
「importxml」関数でWEBからデータを取得することができます。

=IMPORTXML(URL, Xpath)

80legs

http://80legs.com/

http://80legs.com/

80legsの価格プランは5通りです。
無料からでも利用できるスクレピングツールです。

無料プランでは同時複数のクロールを動かすことはできます。
1回あたり、10,000 URLsまで取得できます。

FireFoxアドオンのスクレピングツール「Outwit Hub

https://addons.mozilla.org/en-US/firefox/addon/outwit-hub/

https://addons.mozilla.org/en-US/firefox/addon/outwit-hub/

  • 対応OS:ブラウザの拡張として動作するため、windows、Macどちらでも可能
  • 提供形態:FireFoxアドオン(拡張機能)

Fminer

http://www.fminer.com/

http://www.fminer.com/

Fminerはウェブサイトからデータをできるだけ簡単かつ直感的に抽出できるスクレピングツールです。
単純なWebページからデータをスクレピングはもちろんのこと、
プロキシサーバーのリスト、Ajax処理、および多層クロールを必要とする複雑なプロジェクトを実行にも対応できます。

parsehub

https://www.parsehub.com/

https://www.parsehub.com/

Parsehubは、AJAX、JavaScript、リダイレクト、およびCookieを使用するサイトからの複雑なデータ抽出をサポートするWebスクレイピングソフトウェアです。
Web上の文書を読み込んで解析し、関連するデータを出力できる機械学習技術を備えています。
ParsehubはWindows、Mac、Linuxのデスクトップクライアントとして利用できます。
ブラウザ内で使用できるWebアプリケーションもあります。

parsehubの価格プラン

  • Everyone
  • Standard
  • Professional
  • Enterprise

対応OS:windows、Mac、Linax

Web Robots

https://webrobots.io/

https://webrobots.io/

クローム拡張

Grepsr

Grepsr | Web Scraping Made Simple, Fast & Manageable
Simplify web scraping with easy-to-use data extraction platform and manage it better with full-featured project management tools and support. Sign up free!

https://www.grepsr.com/

Instant Data Scraper

Instant Data Scraper
Web scraper crawls listing type data from multiple pages. Tested to scrape YP, Yelp, Ebay, Amazon, etc. Save as Excel or CSV.

提供形態:クローム拡張

Friendly Scraper

Friendly Scraper | Web Scraping
fScraper is a smart web scraping and data extraction platform that extracts and generates data from Facebook pages, group, location, event, and searches.

https://fscraper.com/

uScraper

https://uscraper.com/#howitsworks

https://uscraper.com/#howitsworks

kimono※サービス閉鎖

kimono

提供形態 デスクトップアプリケーション

対応OS Mac、Windows

https://www.kimonolabs.com/

ダウンロードページ
https://www.kimonolabs.com/desktop

Kimonoは2016年2月29日に閉鎖サービス閉鎖しました。

WebスクレイパーサービスKimono LabsがPalantirに買収され、サービスは2月末に閉鎖へ | TechCrunch Japan
Y Combinatorで育ったWebスクレイパー、Kimono Labsは、ユーザーであるデベロッパーが自分でスクレイパーを書かなくてもWebサイトから情報をかき集めてくれる。その同社...

スクレイピングの注意

クレイピングの注意点や法律については「qiita」でわかりやすくまとめられた記事あります。
※外部サイトです。

Webスクレイピングの注意事項一覧 - Qiita
#はじめにWebスクレイピングで誰も嫌な思いをしなくて済むように、注意事項一覧を作りました。ただ、法律の専門家による解釈ではないので責任は取れません。この記事は...
Webスクレイピングの法律周りの話をしよう! - Qiita
4日目になるまでに残り1時間なので、急ぎで書きます。後、私は法律の専門家ではないので記事の正確性は保証できません。自己責任でお願いします。#はじめにWebスクレイ...

 

まとめ

紹介しているスクレイピングはすべて海外製のサービスです。

英語無理!と言わず触ってみてください。
こうした、インターフェイスがシンプルで使いやすいものは海外製であることが多いです。

ツールやサービスを探すとき、検索対象を海外にも広げてみましょう。
インターネット上で使わている言語の中で、最も多くを占めている言語は英語です。

日本語は僅かに過ぎません。
広大なネット空間で日本語情報のみにアクセスすることは、
限られた情報しか得られないことを意味します。

サービスの提供側すると、
絶対的な見込み利用者数を考えたとき、
英語ベースでサービス提供する方が見込み利用者数の天井値が高くなります。

見込み利用者数が多いということは、
その分、一人の利用数の当たりの単価は引き下げることができます。

日本語ローカルライズが必須がとなるサービスは別として、
WEBスクレピングなど、汎用性が高く、世界中で需要のあるサービスであれば、
英語ベースのサービスの方が安く提供できるのはこの為です。

この記事が参考になりましたら、ぜひ「いいね!」、シェアをお願いします。
Pocket