如何利用插件免費(fèi)抓取亞馬遜評(píng)論？

豆豆說跨境
2019年08月15日 15:13
2809
8
6

如何抓取亞馬遜的商品評(píng)價(jià)？

原本想給大家介紹使用市面上常見或者付費(fèi)的爬蟲工具，直到我發(fā)現(xiàn)了這個(gè)Chrome的免費(fèi)插件 ——Instant Data Scraper，當(dāng)時(shí)我差點(diǎn)被感動(dòng)哭了。比起學(xué)編程語言編寫爬蟲，自己費(fèi)力去研究各種網(wǎng)頁結(jié)構(gòu)、層次，還要時(shí)刻擔(dān)心自己的爬蟲會(huì)被亞馬遜干掉。

有 Instant Data Scraper 就好了！

也不用怕網(wǎng)頁結(jié)構(gòu)改變，采集規(guī)則失效的問題了！

小白也可以輕松使用上亞馬遜評(píng)價(jià)采集爬蟲技術(shù)！

什么是 Instant Data Scraper？

此插件使用 AI （人工智能）技術(shù)，可以判斷頁面中最相關(guān)的內(nèi)容進(jìn)行抓取，并不需要你懂得晦澀的編程技術(shù)。Amazon、 eBay、Best Buy、Walmart、Etsy、Home Depot、Craigslist、Yelp 等網(wǎng)站都能支持。

經(jīng)我初步使用，發(fā)現(xiàn)它不大會(huì)發(fā)生「人工智障」的問題。起碼爬取亞馬遜商品評(píng)論（Customer Reviews），listing和QA等一些基礎(chǔ)數(shù)據(jù)，Instant Data Scraper是非常方便的，大愛！

如何使用Instant Data Scraper？

在 Chrome 網(wǎng)上應(yīng)用店搜索并安裝插件「Instant Data Scraper」。如無法訪問 Chrome 網(wǎng)上應(yīng)用店，可以離線安裝插件。

插件使用起來真的非常非常簡(jiǎn)單，以采集亞馬遜 Review 為例：

Instant Data Scraper

1.打開產(chǎn)品 Reviews 頁的第一頁，網(wǎng)址格式如：https://www.amazon.com/product-reviews/+產(chǎn)品的ASIN

如下圖：

2.然后選擇“Most recent”,以產(chǎn)品自然留評(píng)的時(shí)間進(jìn)行排序。

3.排序完成后點(diǎn)擊瀏覽器右上角Instant Data Scraper 插件圖標(biāo)“精靈球插件”，如下圖：

4.進(jìn)入爬蟲抓取頁面的設(shè)置，如下圖：

5.在精靈球插件里面，點(diǎn)擊按鈕Locate“next”button，然后回到產(chǎn)品Review頁面的底部，點(diǎn)擊“Next page”再點(diǎn)擊“Start crawling”就開始自動(dòng)抓取Review數(shù)據(jù)。

當(dāng)然，我們也可以在這里移除我們不需要的信息。之后下載表格的時(shí)候，就不會(huì)展現(xiàn)我們不需要的信息了。

這里需要注意的是Min delay，Max delay，當(dāng)你網(wǎng)速太快時(shí)要Min delay要設(shè)置的大一點(diǎn)，當(dāng)你網(wǎng)速太慢的時(shí)候Min delay，Max delay也要設(shè)置的大一點(diǎn)，這樣才能保證數(shù)據(jù)穩(wěn)定的抓取下來。

6.當(dāng)Review下載完成之后，頁面會(huì)彈出錯(cuò)誤的提示“Error getting table：Table not found，然后我們點(diǎn)擊“CSV”這個(gè)綠色的按鈕，就下把我們的Review一條不落的下載下來，如果你下載的Review數(shù)據(jù)超過一千條，數(shù)據(jù)下載的時(shí)間就會(huì)稍微久一點(diǎn)，可能出現(xiàn)假象，感覺是卡死的，我們只需要稍等片刻就可以下載下來，下載好了，左下角的底部會(huì)有文件下載的提示框，這樣我們就知道Review有沒有下載好了。

7.打開下載好的 CSV 或 Excel 文件，整理我們需要的數(shù)據(jù)列即可。