學(xué)習(xí)爬蟲需要掌握哪些庫(kù)呢?

　　通用：

　　1.urllib -網(wǎng)絡(luò)庫(kù)(stdlib)。

　　2.requests -網(wǎng)絡(luò)庫(kù)。

　　3.grab – 網(wǎng)絡(luò)庫(kù)(基于pycurl)。

　　4.pycurl – 網(wǎng)絡(luò)庫(kù)(綁定libcurl)。

　　5.urllib3 – Python HTTP庫(kù)，安全連接池、支持文件post、可用性高。

　　6.httplib2 – 網(wǎng)絡(luò)庫(kù)。

　　7.RoboBrowser – 一個(gè)簡(jiǎn)單的、極具Python風(fēng)格的Python庫(kù)，無(wú)需獨(dú)立的瀏覽器即可瀏覽網(wǎng)頁(yè)。

　　8.MechanicalSoup -一個(gè)與網(wǎng)站自動(dòng)交互Python庫(kù)。

　　9.mechanize -有狀態(tài)、可編程的Web瀏覽庫(kù)。

　　10.socket – 底層網(wǎng)絡(luò)接口(stdlib)。

　　11.Unirest for Python – Unirest是一套可用于多種語(yǔ)言的輕量級(jí)的HTTP庫(kù)。

　　12.hyper – Python的HTTP/2客戶端。

　　13.PySocks – SocksiPy更新并積極維護(hù)的版本，包括錯(cuò)誤修復(fù)和一些其他的特征。作為socket模塊的直接替換。

　　網(wǎng)絡(luò)爬蟲框架

　　功能齊全的爬蟲

　　grab – 網(wǎng)絡(luò)爬蟲框架(基于pycurl/multicur)。

　　scrapy – 網(wǎng)絡(luò)爬蟲框架(基于twisted)，不支持Python3。

　　pyspider – 一個(gè)強(qiáng)大的爬蟲系統(tǒng)。

　　cola – 一個(gè)分布式爬蟲框架。

　　其他

　　portia – 基于Scrapy的可視化爬蟲。

　　restkit – Python的HTTP資源工具包。它可以讓你輕松地訪問HTTP資源，并圍繞它建立的對(duì)象。

　　demiurge – 基于PyQuery的爬蟲微框架。

　　HTML/XML解析器

　　1.通用

　　lxml – C語(yǔ)言編寫高效HTML/ XML處理庫(kù)。支持XPath。

　　cssselect – 解析DOM樹和CSS選擇器。

　　pyquery – 解析DOM樹和jQuery選擇器。

　　BeautifulSoup – 低效HTML/ XML處理庫(kù)，純Python實(shí)現(xiàn)。

　　html5lib – 根據(jù)WHATWG規(guī)范生成HTML/ XML文檔的DOM。該規(guī)范被用在現(xiàn)在所有的瀏覽器上。

　　feedparser – 解析RSS/ATOM feeds。

　　MarkupSafe – 為XML/HTML/XHTML提供了安全轉(zhuǎn)義的字符串。

　　xmltodict – 一個(gè)可以讓你在處理XML時(shí)感覺像在處理JSON一樣的Python模塊。

　　xhtml2pdf – 將HTML/CSS轉(zhuǎn)換為PDF。

　　untangle – 輕松實(shí)現(xiàn)將XML文件轉(zhuǎn)換為Python對(duì)象。

　　2.清理

　　Bleach – 清理HTML(需要html5lib)。

　　sanitize – 為混亂的數(shù)據(jù)世界帶來(lái)清明。

聲明：本站稿件版權(quán)均屬千鋒教育所有，未經(jīng)許可不得擅自轉(zhuǎn)載。