python爬蟲用什麼-ag真人国际官网

a. python爬蟲用什麼庫

以下是爬蟲經常用到的庫

請求庫

1. requests

requests庫應該是現在做爬蟲最火最實用的庫了，非常的人性化。有關於它的使用我之前也寫過一篇文章 一起看看python之requests庫 ，大家可以去看一下。

2.urllib3

urllib3是一個非常強大的http請求庫，提供一系列的操作url的功能。

3.selenium

自動化測試工具。一個調用瀏覽器的 driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。

對於這個庫並非只是python才能用，像java、python、c#等都能夠使用selenium這個庫

4.aiohttp

基於 asyncio 實現的 http 框架。非同步操作藉助於 async/await 關鍵字，使用非同步庫進行數據抓取，可以大大提高效率。

這個屬於進階爬蟲時候必須掌握的非同步庫。有關於aiohttp的詳細操作，可以去官方文檔：https://aiohttp.readthedocs.io/en/stable/

python學習網- 專業的python自學、交流公益平台！

解析庫

1、beautifulsoup

html 和 xml 的解析,從網頁中提取信息，同時擁有強大的api和多樣解析方式。一個我經常使用的解析庫，對於html的解析是非常的好用。對於寫爬蟲的人來說這也是必須掌握的庫。

2、lxml

支持html和xml的解析，支持xpath解析方式，而且解析效率非常高。

3、pyquery

jquery 的 python 實現，能夠以 jquery 的語法來操作解析 html 文檔，易用性和解析速度都很好。

數據存儲

1、pymysql

官方文檔：https://pymysql.readthedocs.io/en/latest/

一個純 python 實現的 mysql 客戶端操作庫。非常的實用、非常的簡單。

2、pymongo

官方文檔：https://api.mongodb.com/python/

顧名思義，一個用於直接連接 mongodb 資料庫進行查詢操作的庫。

3、redismp

redis-mp是將redis和json互轉的工具；redis-mp是基於ruby開發，需要ruby環境，而且新版本的redis-mp要求2.2.2以上的ruby版本，centos中yum只能安裝2.0版本的ruby。需要先安裝ruby的管理工具rvm安裝高版本的ruby。

b. python中的爬蟲框架有哪些呢

實現爬蟲技術的編程環境有很多種，java、python、c 等都可以用來爬蟲。但很多人選擇python來寫爬蟲，為什麼呢？因為python確實很適合做爬蟲，豐富的第三方庫十分強大，簡單幾行代碼便可實現你想要的功能。更重要的，python也是數據挖掘和分析的好能手。那麼，python爬蟲一般用什麼框架比較好？
一般來講，只有在遇到比較大型的需求時，才會使用python爬蟲框架。這樣的做的主要目的，是為了方便管理以及擴展。本文我將向大家推薦十個python爬蟲框架。
1、scrapy：scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：html, xml源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 item loaders)，對智能處理爬取數據提供了內置支持。
2、crawley：高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為json、xml等。
3、portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。

4、newspaper：可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用python開發的可用於提取文章內容的程序。支持10多種語言並且所有的都是unicode編碼。
5、python-goose：java寫的文章提取工具。python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何youtube/vimeo視頻、元描述、元標簽。
6、beautiful soup：名氣大，整合了一些常用爬蟲需求。它是一個可以從html或xml文件中提取數據的python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.beautiful soup會幫你節省數小時甚至數天的工作時間。beautiful soup的缺點是不能載入js。
7、mechanize：它的優點是可以載入js。當然它也有缺點，比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。
8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。selenium是自動化測試工具，它支持各種瀏覽器，包括 chrome，safari，firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 selenium 的插件，可以方便地實現web界面的測試. selenium支持瀏覽器驅動。selenium支持多種語言開發，比如 java，c，ruby等等，phantomjs 用來渲染解析js，selenium 用來驅動以及與python的對接，python進行後期的處理。
9、cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。
10、pyspider：一個國人編寫的強大的網路爬蟲系統並帶有強大的webui。採用python語言編寫，分布式架構，支持多種資料庫後端，強大的webui支持腳本編輯器，任務監視器，項目管理器以及結果查看器。python腳本控制，可以用任何你喜歡的html解析包。

c. python的爬蟲框架有哪些

向大家推薦十個python爬蟲框架。

1、scrapy：scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。它是很強大的爬蟲框架，可以滿足簡單的頁面爬取，比如可以明確獲知url pattern的情況。用這個框架可以輕松爬下來如亞馬遜商品信息之類的數據。但是對於稍微復雜一點的頁面，如weibo的頁面信息，這個框架就滿足不了需求了。它的特性有：html, xml源數據 選擇及提取 的內置支持；提供了一系列在spider之間共享的可復用的過濾器(即 item loaders)，對智能處理爬取數據提供了內置支持。

2、crawley：高速爬取對應網站的內容，支持關系和非關系資料庫，數據可以導出為json、xml等。

3、portia：是一個開源可視化爬蟲工具，可讓使用者在不需要任何編程知識的情況下爬取網站！簡單地注釋自己感興趣的頁面，portia將創建一個蜘蛛來從類似的頁面提取數據。簡單來講，它是基於scrapy內核；可視化爬取內容，不需要任何開發專業知識；動態匹配相同模板的內容。

4、newspaper：可以用來提取新聞、文章和內容分析。使用多線程，支持10多種語言等。作者從requests庫的簡潔與強大得到靈感，使用python開發的可用於提取文章內容的程序。支持10多種語言並且所有的都是unicode編碼。

5、python-goose：java寫的文章提取工具。python-goose框架可提取的信息包括：文章主體內容、文章主要圖片、文章中嵌入的任何youtube/vimeo視頻、元描述、元標簽。

6、beautiful soup：名氣大，整合了一些常用爬蟲需求。它是一個可以從html或xml文件中提取數據的python庫。它能夠通過你喜歡的轉換器實現慣用的文檔導航,查找,修改文檔的方式.beautiful soup會幫你節省數小時甚至數天的工作時間。beautiful soup的缺點是不能載入js。

7、mechanize：它的優點是可以載入js。當然它也有缺點，比如文檔嚴重缺失。不過通過官方的example以及人肉嘗試的方法，還是勉強能用的。

8、selenium：這是一個調用瀏覽器的driver，通過這個庫你可以直接調用瀏覽器完成某些操作，比如輸入驗證碼。selenium是自動化測試工具，它支持各種瀏覽器，包括 chrome，safari，firefox等主流界面式瀏覽器，如果在這些瀏覽器裡面安裝一個 selenium 的插件，可以方便地實現web界面的測試. selenium支持瀏覽器驅動。selenium支持多種語言開發，比如 java，c，ruby等等，phantomjs 用來渲染解析js，selenium 用來驅動以及與python的對接，python進行後期的處理。

9、cola：是一個分布式的爬蟲框架，對於用戶來說，只需編寫幾個特定的函數，而無需關注分布式運行的細節。任務會自動分配到多台機器上，整個過程對用戶是透明的。項目整體設計有點糟，模塊間耦合度較高。

10、pyspider：一個國人編寫的強大的網路爬蟲系統並帶有強大的webui。採用python語言編寫，分布式架構，支持多種資料庫後端，強大的webui支持腳本編輯器，任務監視器，項目管理器以及結果查看器。python腳本控制，可以用任何你喜歡的html解析包。

以上就是分享的python爬蟲一般用的十大主流框架。這些框架的優缺點都不同，大家在使用的時候，可以根據具體場景選擇合適的框架。