精通Python 爬虫框架Scrapy

特别说明：
此音频仅作为更好地阅读此书的辅助工具，请大家购买正版书籍。
所有音频全部免费供大家试听、转发和使用。

目录
第1章 Scrapy简介
1.1初识Scrapy
1.2喜欢Scrapy的更多理由
1.3关于本书：目标和用途
1.4掌握自动化数据爬取的重要性
1.4.1开发健壮且高质量的应用，并提供合理规划
1.4.2快速开发高质量最小可行产品
1.4.3Google不会使用表单，爬取才能扩大规模
1.4.4发现并融入你的生态系统
1.5在充满爬虫的世界里做一个好公民
1.6Scrapy不是什么
1.7本章小结

第2章 理解HTML和Xpath
2.1HTML、DOM树表示以及XPath
2.1.1URL
2.1.2HTML文档
2.1.3树表示法
2.1.4你会在屏幕上看到什么
2.2使用XPath选择HTML元素
2.2.1有用的XPath表达式
2.2.2使用Chrome获取XPath表达式
2.2.3常见任务示例
2.2.4预见变化
2.3本章小结

第3章 爬虫基础
3.1安装Scrapy
3.1.1MacOS
3.1.2Windows
3.1.3Linux
3.1.4最新源码安装
3.1.5升级Scrapy
3.1.6Vagrant:本书中运行示例的官方方式
3.2UR^2IM ——基本抓取流程
3.2.1URL
3.2.2请求和响应
3.2.3Item
3.3一个Scrapy项目
3.3.1声明item
3.3.2编写爬虫
3.3.3填充item
3.3.4保存文件
3.3.5清理—— item装载器与管理字段
3.3.6创建contract
3.4抽取更多的URL
3.4.1使用爬虫实现双向爬取
3.4.2使用CrawlSpider实现双向爬取
3.5本章小结

第4章 从Scrapy到移动应用
4.1选择手机应用框架
4.2创建数据库和集合
4.3使用Scrapy填充数据库
4.4创建手机应用
4.4.1创建数据库访问服务
4.4.2创建用户界面
4.4.3将数据映射到用户界面
4.4.4数据库字段与用户界面控件间映射
4.4.5测试、分享及导出你的手机应用
4.5本章小结

第5章 迅速的爬虫技巧
5.1需要登录的爬虫
5.2使用JSON API和AJAX页面的爬虫
5.3 30倍速的房产爬虫
5.4基于Excel文件爬取的爬虫
5.5本章小结

第6章 部署到Scrapinghub
6.1注册、登录及创建项目
6.2部署爬虫与计划运行
6.3访问item
6.4计划定时爬取
6.5本章小结

第7章 配置与管理
7.1使用Scrapy设置
7.2基本设置
7.2.1分析
7.2.2性能
7.2.3提前终止爬取
7.2.4HTTP缓存和离线运行
7.2.5爬取风格
7.2.6feed
7.2.7媒体下载
7.2.8Amazon Web服务
7.2.9使用代理和爬虫
7.3进阶设置
7.3.1项目相关设置
7.3.2Scrapy扩展设置
7.3.3下载调优
7.3.4自动限速扩展设置
7.3.5内存使用扩展设置
7.3.6日志和调试
7.4本章小结

第8章 Scrapy编程
8.1Scrapy是一个Twisted应用
8.1.1延迟和延迟链
8.1.2理解Twisted和非阻塞I/O ——一个Python故事
8.2Scrapy架构概述
8.3示例1:非常简单的管道
8.4信号
8.5示例2:测量吞吐量和延时的扩展
8.6中介件延伸
8.7本章小结

第9章 管道秘诀
9.1使用REST API
9.1.1使用treq
9.1.2用于写入Elasticsearch的管道
9.1.3使用Google Geocoding API实现地理编码的管道
9.1.4在Elasticsearch中启用地理编码索引
9.2与标准Python客户端建立数据库接口
9.3使用Twisted专用客户端建立服务接口
9.4为CPU密集型、阻塞或遗留功能建立接口
9.4.1处理CPU密集型或阻塞操作的管道
9.4.2使用二进制或脚本的管道
9.5本章小结

第10章 理解Scrapy性能
10.1Scrapy引擎——一种直观方式
10.1.1级联队列系统
10.1.2定义瓶颈
10.1.3Scrapy性能模型
10.2使用telnet获得组件利用率
10.3基准系统
10.4标准性能模型
10.5解决性能问题
10.6故障排除流程
10.7本章小结

第11章 使用Scrapyd与实时分析进行分布式爬取
11.1房产的标题是如何影响价格的
11.2Scrapyd
11.3分布式系统概述
11.4爬虫和中间件的变化
11.4.1索引页分片爬取
11.4.2分批爬取URL
11.4.3从设置中获取初始URL
11.4.4在Scrapyd服务器中部署项目
11.5创建自定义监控命令
11.6使用Apache Spark流计算偏移量
11.7运行分布式爬取
11.8系统性能
11.9关键要点
11.10本章小结

贺函芬|音频制作者
2000年毕业于宁波大学计算机系教育专业。
20年编程经历。