悪用厳禁!プログラミング知識の不要のWEBスクレイピングツール 5選

簡単にスクレイピングができたらなーと考えたことはありませんか?

プログラミング知識の不要のWEBスクレイピングツールの紹介します。
これらのツールを使うことで、スクレイピング用のコードを記述しなくともデータの取得ができます。

物販での用途・目的としては、
Amazon、楽天、ネットショップから商品情報データ取得、分析に役立てることができます。

この手のものは海外系のツールが充実しています。

WEBスクレイピングツール

URLコピペでスクレイピング「import.io」

https://www.import.io/

import

import.io

提供形態は2通り

  • ウェブサービス版
  • アプリケーション版

対応OS Windows ,Max

以下のページからダウンロードします。

ダウンロードページ
https://www.import.io/standard-plans/

import.ioの基本的な使い方は「URL入力で簡単! WEBスクレイピングツール import.ioの使い方」を読んでください。

Octoparse

http://www.octoparse.com/

octoparse

対応OS Win7/Win8/Win10/Win XP

kimono

kimono

提供形態 デスクトップアプリケーション

対応OS Mac、Windows

https://www.kimonolabs.com/

ダウンロードページ
https://www.kimonolabs.com/desktop

 

Web Scraper

web-scraper

http://webscraper.io/

ページネーションにも対応しています。

Web Scraperの提供提供形態は2通りです。

  • Web Scraper Extension (Free!)(グーグルクローム拡張)
  • Cloud Web Scraper(クラウド版)

Web Scraper Extension (Free!)(グーグルクローム拡張)

グーグルクローム拡張の導入方法

  1. webscraperにアクセス
    http://webscraper.io/
  2. 「Download free on Chrome Store」をクリック
  3. クローム拡張追加

例えば、「Amazonのセールランキングページから大カテゴリ、中カテゴリ、小カテゴリを辿り、各カテゴリごとの1〜100位のASINをまとめて抽出」することも可能です。

Cloud Web Scraper(クラウド版)

クラウド版の料金

  • 100,000 page credits – $50
  • 250,000 page credits – $90
  • 500,000 page credits – $125
  • 1,000,000 page credits – $175
  • 2,000,000 page credits – $250

Scraper

scraper

提供形態 グーグルクローム拡張

グーグルクロームのプラグインです。

スクレイピングの注意

クレイピングの注意点や法律については「qiita」でわかりやすくまとめられた記事あります。
※外部サイトです。

Webスクレイピングの注意事項一覧 - Qiita
#はじめにWebスクレイピングで誰も嫌な思いをしなくて済むように、注意事項一覧を作りました。ただ、法律の専門家による解釈ではないので責任は取れません。この記事は...
Webスクレイピングの法律周りの話をしよう! - Qiita
4日目になるまでに残り1時間なので、急ぎで書きます。後、私は法律の専門家ではないので記事の正確性は保証できません。自己責任でお願いします。#はじめにWebスクレイ...

 

まとめ

紹介しているスクレイピングはすべて海外製のサービスです。

英語無理!と言わず触ってみてください。
こうした、インターフェイスがシンプルで使いやすいものは海外製であることが多いです。

ツールやサービスを探すとき、検索対象を海外にも広げてみましょう。

インターネット上で使わている言語の中で、
最も多くを占めている言語は英語です。

日本語は僅かに過ぎません。

広大なネット空間で日本語情報のみにアクセスすることは、
限られた情報しか得られないことを意味します。

サービスの提供側すると、
絶対的な見込み利用者数を考えたとき、
英語ベースでサービス提供する方が見込み利用者数の天井値が高くなります。

見込み利用者数が多いということは、
その分、一人の利用数の当たりの単価は引き下げることができます。

日本語ローカルライズが必須がとなるサービスは別として、
WEBスクレピングなど、汎用性が高く、世界中で需要のあるサービスであれば、
英語ベースのサービスの方が安く提供できるのはこの為です。

この記事が参考になりましたら、ぜひ「いいね!」、シェアをお願いします。
Pocket