産品特色

編輯推薦

案例豐富，注重實戰

博客文章過百萬的靜覓大神力作

全麵介紹瞭數據采集、數據存儲、動態網站爬取、App爬取、驗證碼破解、模擬登錄、代理使用、爬蟲框架、分布式爬取等知識

涉及的庫或工具：urllib、requests、Beautiful Soup、XPath、pyquery、redis-py、PyMongo、PyMySQL、Selenium、Splash、Charles、mitmproxy、mitmdump、Appium、pyspider、Scrapy、Scrapy-Redis、Scrapy-Splash、Docker、Bloom Filter、Gerapy等

內容簡介

本書介紹瞭如何利用Python 3開發網絡爬蟲，書中首先介紹瞭環境配置和基礎知識，然後討論瞭urllib、requests、正則錶達式、Beautiful Soup、XPath、pyquery、數據存儲、Ajax數據爬取等內容，接著通過多個案例介紹瞭不同場景下如何實現數據爬取，最後介紹瞭pyspider框架、Scrapy框架和分布式爬蟲。

本書適閤Python程序員閱讀。

作者簡介

崔慶纔

北京航空航天大學碩士，靜覓博客（https://cuiqingcai.com/）博主，爬蟲博文訪問量已過百萬，喜歡鑽研，熱愛生活，樂於分享。歡迎關注個人微信公眾號“進擊的Coder”。

精彩書評

專業評論：

在互聯網軟件開發工程師的分類中，爬蟲工程師是非常重要的。爬蟲工作往往是一個公司核心業務開展的基礎，數據抓取下來，纔有後續的加工處理和最終展現。此時數據的抓取規模、穩定性、實時性、準確性就顯得非常重要。早期的互聯網充分開放互聯，數據獲取的難度很小。隨著各大公司對數據資産日益看重，反爬水平也在不斷提高，各種新技術不斷給爬蟲軟件提齣新的課題。本書作者對爬蟲的各個領域都有深刻研究，書中探討瞭Ajax數據的抓取、動態渲染頁麵的抓取、驗證碼識彆、模擬登錄等高級話題，同時也結閤移動互聯網的特點探討瞭App的抓取等。更重要的是，本書提供瞭大量源碼，可以幫助讀者更好地理解相關內容。強烈推薦給各位技術愛好者閱讀！

——梁斌，八友科技總經理

數據既是當今大數據分析的前提，也是各種人工智能應用場景的基礎。得數據者得天下，會爬蟲者走遍天下也不怕！一冊在手，讓小白到老司機都能有所收獲！

——李舟軍，北京航空航天大學教授，博士生導師

本書從爬蟲入門到分布式抓取，詳細介紹瞭爬蟲技術的各個要點，並針對不同的場景提齣瞭對應的解決方案。另外，書中通過大量的實例來幫助讀者更好地學習爬蟲技術，通俗易懂，乾貨滿滿。強烈推薦給大傢！

——宋睿華，微軟小冰首席科學傢

有人說中國互聯網的帶寬全給各種爬蟲占據瞭，這說明網絡爬蟲的重要性以及中國互聯網數據封閉壟斷的現狀。爬是一種能力，爬是為瞭不爬。

——施水纔，北京拓爾思信息技術股份有限公司總裁

目錄

第1章　開發環境配置　　1

1.1　Python 3的安裝　　1

1.1.1　Windows下的安裝　　1

1.1.2　Linux下的安裝　　6

1.1.3　Mac下的安裝　　8

1.2　請求庫的安裝　　10

1.2.1　requests的安裝　　10

1.2.2　Selenium的安裝　　11

1.2.3　ChromeDriver的安裝　　12

1.2.4　GeckoDriver的安裝　　15

1.2.5　PhantomJS的安裝　　17

1.2.6　aiohttp的安裝　　18

1.3　解析庫的安裝　　19

1.3.1　lxml的安裝　　19

1.3.2　Beautiful Soup的安裝　　21

1.3.3　pyquery的安裝　　22

1.3.4　tesserocr的安裝　　22

1.4　數據庫的安裝　　26

1.4.1　MySQL的安裝　　27

1.4.2　MongoDB的安裝　　29

1.4.3　Redis的安裝　　36

1.5　存儲庫的安裝　　39

1.5.1　PyMySQL的安裝　　39

1.5.2　PyMongo的安裝　　39

1.5.3　redis-py的安裝　　40

1.5.4　RedisDump的安裝　　40

1.6　Web庫的安裝　　41

1.6.1　Flask的安裝　　41

1.6.2　Tornado的安裝　　42

1.7　App爬取相關庫的安裝　　43

1.7.1　Charles的安裝　　44

1.7.2　mitmproxy的安裝　　50

1.7.3　Appium的安裝　　55

1.8　爬蟲框架的安裝　　59

1.8.1　pyspider的安裝　　59

1.8.2　Scrapy的安裝　　61

1.8.3　Scrapy-Splash的安裝　　65

1.8.4　Scrapy-Redis的安裝　　66

1.9　部署相關庫的安裝　　67

1.9.1　Docker的安裝　　67

1.9.2　Scrapyd的安裝　　71

1.9.3　Scrapyd-Client的安裝　　74

1.9.4　Scrapyd API的安裝　　75

1.9.5　Scrapyrt的安裝　　75

1.9.6　Gerapy的安裝　　76

第2章　爬蟲基礎　　77

2.1　HTTP基本原理　　77

2.1.1　URI和URL　　77

2.1.2　超文本　　78

2.1.3　HTTP和HTTPS　　78

Python 3網絡爬蟲開發實戰 Scrapy數據分析處理手冊 數據抓取指南python程序設計正版 下載 mobi epub pdf txt 電子書