如果你需要在網(wǎng)上獲取一定量的數(shù)據(jù),爬蟲可能會是比較好的選擇。但是我們普通人不一定會寫代碼,那是不是就沒有辦法了呢?
當然有!
人總是會有懶惰的一面網(wǎng)頁數(shù)據(jù)爬取工具,那么相應的就會產(chǎn)生懶惰應對的方法。
今天給大家分享一下Web 這款爬蟲工具,是瀏覽器的插件,跨平臺使用。可以方便的僅僅通過鼠標進行簡單配置,就可以爬取你所想要數(shù)據(jù)。例如文章列表信息、電商網(wǎng)站商品信息、知乎回答列表、微博熱門、微博評論等等。
實例1
/news/list-10--1.html
這個網(wǎng)站,爬取前兩頁文章的列表和鏈接。
第一頁
第二頁
永恒君已經(jīng)提前配置好了
運行后的效果
實例2
//
知乎的回答,爬取所有回答者的昵稱、評論數(shù)和贊同數(shù)
運行后的效果
實例3
/?=%E7%99%BE%E5%AE%9D%E7%AE%B1&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=%E7%99%BE%E5%AE%9D%E7%AE%B1&stock=1&page=1&s=1&click=0
某東的某個商品網(wǎng)頁數(shù)據(jù)爬取工具,爬取第一頁商品的商品名稱、價格、評論數(shù)
運行后的效果
為了更為直觀的展示,永恒君把三個實例整合到一個視頻里面,大家可以更為直觀的感受一下效率和效果:
怎么樣,效果不錯吧?應付我們日常工作足足夠了。
今天先展示下效果,后面會分享關于Web 這款爬蟲工具的一些實用方法。
你可能還會想看: