WEBスクレイピングツール、プログラミング言語まとめ

WEBスクレイピングに使われるツール、プログラミング言語をまとめました。

WEBスクレイピングの方法の分類

  • WEBスクレイピングツールの使用
  • プログラム言語を使って開発

WEBスクレイピングツール

  • URLコピペでスクレイピング「import.io」
  • windows用スクレイピングツール「Octoparse」
  • グーグルクローム拡張のスクレピングツール 「Web Scraper」
  • グーグルクローム拡張のスクレピングツール「Scraper」
  • Dexi.io
  • Webhose.io.
  • Scrapinghub
  • VisualScraper
  • グーグルスプレッドシート
  • 80legs
  • FireFoxアドオンのスクレピングツール「Outwit Hub」
  • Fminer
  • parsehub
  • Web Robots
  • Grepsr
  • Instant Data Scraper
  • Friendly Scraper
  • uScraper
  • 1.19 kimono※サービス閉鎖

悪用厳禁!プログラミング知識の不要のWEBスクレイピングツール 比較19選」も確認してください。

プログラミング言語を使った方法

  • Java ライブラリ Jsoup
  • PHP ライブラリ PHP Simple HTML DOM Parser
  • Python
  • Ruby
  • エクセルVBA

Java 

開発環境

ライブラリ Jsoup

PHP 

開発環境

  • MAMP(マンプ)
  • XAMPP(ザンプ)

ライブラリ

 PHP Simple HTML DOM Parser

コードエディタ

Python(パイソン)

開発環境 PyCharm

サードパーティライブラリ
Requests、Beautiful Soup、lxmlなど

Ruby(ルビー)

開発環境 Eclipse(エクリプス)

コードエディタ Sublime Text2

エクセルVBA

ライブラリ
Microsoft HTML Object Library
Microsoft Internet Controls 

物販事業者のプログラミングとの関わり方

物販事業者に必要なのは、

自ら1からプログラミング言語学んで、
自由自在にデータを操れるようになること

ではなく、

技術を持った、プログラマーに発注して
目的とする成果物(ツール、WEBアプリケーション)
を作ってもらえるスキルです。

関連リンク

 

ABOUTこの記事をかいた人

"1人"貿易会社経営。国内の販路は自社ネットショップ、Amazon。海外では米Amazon、欧州Amazon、ebay、ネットショップで展開。多岐にわたる国境を超えたクロスボーダー取引をおこなう。
メディアサイト(アフィリエイト・アドセンス)運営では1サイトの最高月間PV数67万。 独自商品開発からWEB集客までカバー。