[Web] Web Scraper教學-輕鬆爬網頁

不寫半行code爬取簡單購物網站～

Photo by Carlos Muza on Unsplash

網頁爬蟲工具-Web Scraper

前往chrome 商店下載 擴充功能

按下f12可以看到已經擴充webScraper

首先先create Sitemaps 貼上你所要爬的網址跟命名

點選create Sitemap

打上要爬的網址跟name

這邊我示範爬取松果露營網站

戶外用品這裡買 - 松果戶外用品-露營用品銷售,租帳篷,登山,溯溪

貼上網址

設定selector 選取器

可以想成我們要設定機器人幫我做什麼事

點選Add new selector

進入selector選取器介面

可以看到

id:為html的標籤也就是你要爬的東西

type:為資料種類 (假設你要爬的是圖片就選img)

selector：為選取爬蟲範圍工具

muti:則是我要抓取多個時要勾選

＃web Scraper很聰明在選取相同的標籤它會自動選取相似的

將鼠標移至要抓取的標籤上方會轉變為黃色

按下後鎖定選取完會變為紅色

接著按下Done selecting 就完成了

可以在data preview看到抓取的資料 確認資料無誤

點選save selector 回到主頁面可以到新增的selector

開始抓取資料

點選Sitemap 在選取Scrape

下一步為設定間格時間防止ip被鎖

接著就可以開爬

會跳出一個獨立視窗進行爬蟲

完成後按下 refresh

完成爬蟲

webScraper匯出檔案格式 csv

webScraper還提供下載服務

方便將爬到的資料匯入DB 或是做成報表非常方便

下篇為進階爬取 webScraper

webScraper 爬取分頁與連結內