WEBスクレイピングに使われるツール、プログラミング言語をまとめました。
目次
WEBスクレイピングの方法の分類
- WEBスクレイピングツールの使用
- プログラム言語を使って開発
WEBスクレイピングツール
- URLコピペでスクレイピング「import.io」
- windows用スクレイピングツール「Octoparse」
- グーグルクローム拡張のスクレピングツール 「Web Scraper」
- グーグルクローム拡張のスクレピングツール「Scraper」
- Dexi.io
- Webhose.io.
- Scrapinghub
- VisualScraper
- グーグルスプレッドシート
- 80legs
- FireFoxアドオンのスクレピングツール「Outwit Hub」
- Fminer
- parsehub
- Web Robots
- Grepsr
- Instant Data Scraper
- Friendly Scraper
- uScraper
- 1.19 kimono※サービス閉鎖
「悪用厳禁！プログラミング知識の不要のWEBスクレイピングツール 比較19選」も確認してください。
プログラミング言語を使った方法
- Java ライブラリ Jsoup
- PHP ライブラリ PHP Simple HTML DOM Parser
- Python
- Ruby
- エクセルVBA
Java
開発環境
ライブラリ Jsoup
PHP
開発環境
- MAMP（マンプ）
- XAMPP（ザンプ）
ライブラリ
コードエディタ
Python（パイソン）
開発環境 PyCharm
サードパーティライブラリ
Requests、Beautiful Soup、lxmlなど
Ruby（ルビー）
開発環境 Eclipse（エクリプス）
コードエディタ Sublime Text2
エクセルVBA
ライブラリ
Microsoft HTML Object Library
Microsoft Internet Controls
物販事業者のプログラミングとの関わり方
物販事業者に必要なのは、
自ら１からプログラミング言語学んで、
自由自在にデータを操れるようになること
ではなく、
技術を持った、プログラマーに発注して
目的とする成果物（ツール、WEBアプリケーション）
を作ってもらえるスキルです。
