序列化

Python中可以通过pickle序列化一个内存中的对象/数据结构到文件中，并从文件中反序列化出这个对象。

序列化：

1
2
3
4

import pickle
data = [1,2,3]
with open('test.pkl', 'w') as f:
    pickle.dump(data, f)

xlsxwriter

这个包可以非常优雅的写Excel文件，注意只能写，不能读和修改。

官方文档：http://xlsxwriter.readthedocs.io/index.html

Chrome浏览器无头模式

1
2
3
4

chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
driver = webdriver.Chrome(chrome_options=chrome_options)

起源

遇到抓取一个境外的网站，浏览器可以正常访问，但是requests请求却一直被拒绝了！

折腾了好久，才发现，关了Shadowsocks浏览器也不能访问！原来，这个站点直接屏蔽了国内的IP

所以，得给爬虫加上Shodowsocks的代理，科学爬虫！

前言

这年头，Git已经是程序员的必备技能了
本篇博客旨在整理，常用的场景下的Git命令的组合

前言

工作中有一个需求，访问本机(假设称为机器A)的80端口，就相当于访问了机器C的80端口，然而，机器C是一个内网服务器，机器B是一个公网服务器，所以需要借助机器B，进行请求转发。

简单的说，B与C通过内网链接，B可以公网访问，通过把B作为跳板机，实现对C的访问。

前言

分布式爬虫，听起来很高端！
首先要明确一下什么是分布式？还有一个概念是集群。

分布式：一个业务分拆多个子业务，部署在不同的服务器上
集群：同一个业务，部署在多个服务器上

所以，分布式爬虫，就是将爬取任务拆分成多个子任务，分别部署在不同的服务器上。

最简单的一个子任务，就可以是一个request的请求。

但是，很快就会遇到一个数据同步的问题，就是比如我在10台机器上部署了爬虫，他们应该共享一个爬取队列。

这个队列可以持久化下来，存到数据库中，但是这就会产生很频繁的IO操作。那么可以采用Redis，一个内存数据库，基于这样一个思路Scrapy-Redis就产生了！

前言

新浪微博绝对是一个巨大的，实时的语料库！对微博数据爬取和分析，有重大的意义。

比如，现在要调查工商银行的服务态度，就可以抓取微博内容中包含工商银行的微博语料，然后做情感分析，就可以得到用户对银行服务的满意程度。

再比如，最近火热的明星鹿晗，可以抓取鹿晗的粉丝信息，分析这些粉丝处于什么年龄段，有什么标签，爱好，性别分布等等。这种对人群的分析，还可以同理应用到商业品牌上，用用户市场调研。

当然例子还有很多，那么，首先，要有微博数据！

所以，就产生了众多的微博爬虫项目。后来，新浪微博也开放了微博的API接口，但是官方的东西，限制还是很多的。

如果需要现成的数据戳这里

proxypool

proxypool是一个自动抓取免费代理并检测入库的程序，并提供开放的实时API服务:proxypool-open-WebAPI

使用

本项目采用python3进行开发，建议使用virtualenv

# 下载源码
git clone https://github.com/nghuyong/proxypool.git
cd proxypool
# 安装依赖
pip install -r requirements.txt
# 爬虫运行
python proxy_spider.py
# 重新验证
python check_proxy.py

如果正常可以出现如下的截图：

• 爬虫运行

• 重新验证

异步爬虫

以往写爬虫就是单进程单线程，假设要爬取100哥页面，就是一个循环挨个爬。但是要执行下面一条抓取，就需要等待网络IO请求执行完毕，所以效率就不高了。
一开始处理的数据不大，还意识不到，如果要爬取上万个页面，差距马上就能凸显了。
所以爬虫必须要并发执行，异步编程。
在python中并发编程，有三种途径：多进程，多线程和协程。当然这三者还可以组合使用，比如多进程+多线程。
由于存在GIL锁，所以python中多线程实际上是并发而不是并行，这就会影响效率，尤其是对CPU密集型的程序。
所以python的老兵可能会对你说：python下多线程是鸡肋，推荐使用多进程！
其实单单对于爬虫来说还有一种更有效的方法就是协程。