運(yùn)行平臺(tái):Windows Python版本:Python3.6 ide:Sublime Text 其他工具:chrome瀏覽器
- 獲取單頁(yè)內(nèi)容 首先,在Chrome瀏覽器中打開貓眼電影首頁(yè),點(diǎn)擊“榜單”,然后選擇”TOP100榜”,即可查看所需內(nèi)容。
接下來(lái),我們通過(guò)編寫代碼來(lái)提取網(wǎng)頁(yè)的html內(nèi)容。
運(yùn)行結(jié)果如下:
- 使用正則表達(dá)式提取關(guān)鍵信息 在上圖中,我們已經(jīng)標(biāo)記了需要提取的內(nèi)容,下面通過(guò)代碼實(shí)現(xiàn)這一步驟:
運(yùn)行結(jié)果如下:
- 存儲(chǔ)獲取的電影信息 在獲取電影信息后,我們需要將這些數(shù)據(jù)保存起來(lái),包括文本信息和電影封面。
保存結(jié)果如下:
- 下載TOP100所有電影信息 通過(guò)點(diǎn)擊標(biāo)簽頁(yè),我們發(fā)現(xiàn)只是URL發(fā)生了變化:
修改main函數(shù)以動(dòng)態(tài)改變URL:
至此,我們已經(jīng)成功獲取了TOP100的電影信息和封面。
- 多線程抓取 雖然此次抓取的數(shù)據(jù)量不大,但為了學(xué)習(xí),我們使用多進(jìn)程進(jìn)行抓取,以應(yīng)對(duì)未來(lái)可能的大量數(shù)據(jù)抓取。
以下是普通抓取和多進(jìn)程抓取的時(shí)間對(duì)比:
以下是完整代碼:
立即學(xué)習(xí)“Python免費(fèi)學(xué)習(xí)筆記(深入)”;