简体网页||繁体网页

☆☆☆☆☆

崔庆才 著

图书标签:

• Python3
• 网络爬虫
• 爬虫实战
• 数据采集
• Web爬虫
• 编程入门
• 开发
• 正版图书
• 包邮
• 技术

店铺： 蓝墨水图书专营店

出版社： 人民邮电

ISBN：9787115480347

商品编码：26114674847

Python3网络爬虫开发实战

本书介绍了如何利用 Python 3 开发网络爬虫。书中首先详细介绍了环境配置过程和爬虫基础知识 ;然后讨论了 urllib、requests 等请求库，Beautiful Soup、XPath、pyquery 等解析库以及文本和各类数据库的存储方法；接着通过多个案例介绍了如何进行 Ajax 数据爬取，如何使用 Selenium 和 Splash 进行动态网站爬取; 接着介绍了爬虫的一些技巧，比如使用代理爬取和维护动态代理池的方法，ADSL 拨号代理的使用，图形、 极验、点触、宫格等各类验证码的破解方法，模拟登录网站爬取的方法及 Cookies 池的维护。 此外，本书还结合移动互联网的特点探讨了使用 Charles、mitmdump、Appium 等工具实现 App 爬取 的方法，紧接着介绍了 pyspider 框架和 Scrapy 框架的使用，以及分布式爬虫的知识，最后介绍了 Bloom Filter 效率优化、Docker 和 Scrapyd 爬虫部署、Gerapy 爬虫管理等方面的知识。

作者：崔庆才

系列书名图灵原创

执行编辑关于本书的内容有任何问题，请联系 王军花

书 号978-7-115-48034-7

页 数608

印刷方式单色

开 本16开

出版状态正在排版

定价99.00

 

本书特色

1.本书详细介绍了爬虫的关键技术，涵盖面广，实用性强。

2.本书作者崔庆才，北京航空航天大学硕士，北京钉趣网络公司技术总监，其个人博客为cuiqingcai.com，其上爬虫文章的浏览量总计已过百万。

 

目录

本书介绍了如何利用Python 3开发网络爬虫，书中首先介绍了环境配置和基础知识，然后讨论了urllib、requests、正则表达式、Beautiful Soup、XPath、pyquery、数据存储、Ajax数据爬取等内容，接着通过多个案例介绍了不同场景下如何实现数据爬取，最后介绍了pyspider框架、Scrapy框架和分布式爬虫。

本书适合Python程序员阅读。

1-开发环境配置

1.1-Python3的安装

1.2-请求库的安装

1.2.1-Requests的安装

1.2.2-Selenium的安装

1.2.3-ChromeDriver的安装

1.2.4-GeckoDriver的安装

1.2.5-PhantomJS的安装

1.2.6-aiohttp的安装

1.3-解析库的安装

1.3.1-lxml的安装

1.3.2-Beautiful Soup的安装

1.3.3-pyquery的安装

1.3.4-tesserocr的安装

1.4-数据库的安装

1.4.1-MySQL的安装

1.4.2-MongoDB安装

1.4.3-Redis的安装

1.5-存储库的安装

1.5.1-PyMySQL的安装

1.5.2-PyMongo的安装

1.5.3-redis-py的安装

1.5.4-RedisDump的安装

1.6-Web库的安装

1.6.1-Flask的安装

1.6.2-Tornado的安装

1.7-App爬取相关库的安装

1.7.1-Charles的安装

1.7.2-mitmproxy的安装

1.7.3-Appium的安装

1.8-爬虫框架的安装

1.8.1-pyspider的安装

1.8.2-Scrapy的安装

1.8.3-Scrapy-Splash的安装

1.8.4-Scrapy-Redis的安装

1.9-部署相关库的安装

1.9.1-Docker的安装

1.9.2-Scrapyd的安装

1.9.3-Scrapyd-Client的安装

1.9.4-Scrapyd API的安装

1.9.5-Scrapyrt的安装

1.9.6-Gerapy的安装

2-爬虫基础

2.1-HTTP基本原理

2.2-网页基础

2.3-爬虫的基本原理

2.4-会话和Cookies

2.5-代理的基本原理

3-基本库的使用

3.1-使用urllib

3.1.1-发送请求

3.1.2-处理异常

3.1.3-解析链接

3.1.4-分析Robots协议

3.2-使用requests

3.2.1-基本用法

3.2.2-高级用法

3.3-正则表达式

3.4-抓取猫眼电影排行

4-解析库的使用

4.1-使用XPath

4.2-使用Beautiful Soup

4.3-使用pyquery

5-数据存储

5.1-文件存储

5.1.1-TXT文本存储

5.1.2-JSON文件存储

5.1.3-CSV文件存储

5.2-关系型数据库存储

5.2.1-MySQL存储

5.3-非关系型数据库存储

5.3.1-MongoDB存储

5.3.2-Redis存储

6-Ajax数据爬取

6.1-什么是Ajax

6.2-Ajax分析方法

6.3-Ajax结果提取

6.4-分析Ajax爬取今日头条街拍美图

7-动态渲染页面爬取

7.1-Selenium的使用

7.2-Splash的使用

7.3-Splash负载均衡配置

7.4-使用Selenium爬取淘宝商品

8-验证码的识别

8.1-图形验证码的识别

8.2-极验滑动验证码的识别

8.3-点触验证码的识别

8.4-微博宫格验证码的识别

9-代理的使用

9.1-代理的设置

9.2-代理池的维护

9.3-付费代理的使用

9.4-ADSL拨号代理

9.5-使用代理爬取微信公众号文章

10-模拟登录

10.1-模拟登录并爬取GitHub

10.2-Cookies池的搭建

11-App的爬取

11.1-Charles的使用

11.2-mitmproxy的使用

11.3-mitmdump爬取“得到”App电子书信息

11.4-Appium的基本使用

11.5-Appium爬取微信朋友圈

11.6-Appium+mitmdump爬取京东商品

12-pyspider框架的使用

12.1-pyspider框架介绍

12.2-pyspider的基本使用

12.3-pyspider用法详解

13-Scrapy框架的使用

13.1-Scrapy框架介绍

13.2-Scrapy入门

13.3-Selector的用法

13.4-Spider的用法

13.5-Downloader Middleware的用法

13.6-Spider Middleware的用法

13.7-Item Pipeline的用法

13.8-Scrapy对接Selenium

13.9-Scrapy对接Splash

13.10-Scrapy通用爬虫

13.11-Scrapyrt的使用

13.12-Scrapy对接Docker

13.13-Scrapy爬取新浪微博

14-分布式爬虫

14.1-分布式爬虫原理

14.2-Scrapy-Redis源码解析

14.3-Scrapy分布式实现

14.4-Bloom Filter的对接

15-分布式爬虫的部署

15.1-Scrapyd分布式部署

15.2-Scrapyd-Client的使用

15.3-Scrapyd对接Docker

15.4-Scrapyd批量部署

15.5-Gerapy分布式管理

评分☆☆☆☆☆

好好看看，不错

评分☆☆☆☆☆

送货快书的内容也还行

评分☆☆☆☆☆

正版书籍，配货发货速度快，很满意。

评分☆☆☆☆☆

服务到位，速度快，书的质量不错

评分☆☆☆☆☆

内容上还比较全，就是深度不够，基本上需要的全部都介绍到了

评分☆☆☆☆☆

早就关注作者的blog，学习了不少，书里有不少作者总结的技术，很实用..

评分☆☆☆☆☆

是正品能学到的东西很多从入门到深入

评分☆☆☆☆☆

很详细，很适合学完基础语法，不知道如何应用的python初学者使用

评分☆☆☆☆☆

印刷待加强啊