微博爬虫,每日百万级数据

前言

新浪微博绝对是一个巨大的,实时的语料库!对微博数据爬取和分析,有重大的意义。

比如,现在要调查工商银行的服务态度,就可以抓取微博内容中包含工商银行的微博语料,然后做情感分析,就可以得到用户对银行服务的满意程度。

再比如,最近火热的明星鹿晗,可以抓取鹿晗的粉丝信息,分析这些粉丝处于什么年龄段,有什么标签,爱好,性别分布等等。这种对人群的分析,还可以同理应用到商业品牌上,用用户市场调研。

当然例子还有很多,那么,首先,要有微博数据!

所以,就产生了众多的微博爬虫项目。后来,新浪微博也开放了微博的API接口,但是官方的东西,限制还是很多的。

如果需要现成的数据戳这里

准备工作

User-Agent池

爬微博,这种大项目,必要充分的伪装是必须的,所以需要一个User-Agent池,每次,随机选择一个User-Agent。

我整理的在这里:User-Agent池

充足的微博账号

微博爬虫,必须登录以后,才能抓取。而一直使用一个账号,是很容易被封号的!

所以,需要多准备几个账号,每次随机选择一个账号登录,进行抓取。(实际是随机选择一个cookie)。

至于买微博账号的地方,某宝就有:

充足的IP代理

如果你想很快的进行抓取,延迟为0的话,IP很快就会被封,返回403 Forbidden。这时候就需要换代理,所以需要有一个IP代理池,这个具体可以参见我的另一个项目:构建爬虫代理池

当然,经测试,每次访问延迟为0.5s,并发量为32,这个参数是不会被封的!

一个服务器

其实,如果IP代理,是免费抓取来的,通常质量并不好,通过代理访问延迟会很大!所以,不如不用代理,加一个0.5秒的延迟,慢慢爬。

这时候,就需要一个勤劳的爬虫,24小时不间断的爬数据!

所以当然是需要部署在服务器上!

爬虫策略

登录微博

登录一直是一个很复杂的问题,不过,我们可以通过selenium来简化这个问题。
直接通过selenium编写浏览器的脚本,自动打开微博的手机站,点击登录,在输入框中填充账号,密码,再点击登录。最后返回cookie即可。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
#!/usr/bin/env python
# encoding: utf-8
from time import sleep
import requests
from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


def get_cookie_from_weibo(username, password):
driver = webdriver.Chrome()
driver.get('https://weibo.cn')
assert "微博" in driver.title
login_link = driver.find_element_by_link_text('登录')
ActionChains(driver).move_to_element(login_link).click().perform()
login_name = WebDriverWait(driver, 20).until(
EC.visibility_of_element_located((By.ID, "loginName"))
)
login_password = driver.find_element_by_id("loginPassword")
login_name.send_keys(username)
login_password.send_keys(password)
login_button = driver.find_element_by_id("loginAction")
login_button.click()
sleep(3)
cookie = driver.get_cookies()
driver.close()
return cookie


if __name__ == "__main__":
username = '你的账号'
password = '你的密码'
cookies = get_cookie_from_weibo(username, password)
cookie = [item["name"] + "=" + item["value"] for item in cookies]
cookie_str = '; '.join(item for item in cookie)
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36",
"Cookie": cookie_str
}
response = requests.get('https://weibo.cn', headers=headers)
print(response.text)

获取cookie以后,可以保存到数据库中。以后每次request请求,随机从数据库中选一个cookie加上,就免登录了。

抓取方案

  1. 首先选择一个(或多个)种子用户,作为最初抓取的对象。
  2. 对于每个抓取对象,依次抓取个人信息,所有的微博,还有粉丝列表和关注列表。
  3. 将对象的粉丝列表和关注列表中的用户,再加入到抓取对象中去。以此循环。

这样就可以形成以种子用户为核心,逐层向外扩散的爬虫辐射。

理论上,只要一小批种子用户启动,就可以爬取全网的微博!

大V的过滤

事实上,有很多微博的信息是没有营养的,比如一些恶俗的营销号,或者一些明星的微博账号。所以,我们可以给抓取的对象,加一个比较正常的阈值,也就是一个普通用户的情况:微博数量<5000,粉丝<5000,关注<5000.

Scrapy配置

  • MiddleWare:随机User-Agent和随机Cookie
  • Mongodb:网络爬虫,数据项进场会出现不全,格式不统一的状况,所以采用Mongodb较为合适
  • DOWNLOAD_DELAY = 0.5 下载间隔时间设置为0.5
  • CONCURRENT_REQUESTS = 32 并发下载量为32
  • LOG_FILE = weibo.log 采用日志文件记录日志

全部代码

WeiboSpider

运行环境为:Python3

需要依赖包括:pymogo,scrapy

部署服务器,Run!

服务器安装Mongodb,并开放外网访问权限

具体可以参考:ubuntu下部署mongodb以及设置允许远程连接

这样配置以后,在本地Pycharm中,配置远端数据库,就实现可视化操作与管理。

运行爬虫

克隆代码到服务器中,安装依赖,并执行

nohup python run.py

就已经开始不停的爬取微博了!

通过命令:tail -10 weibo.log 查看最新的日志。

在日志中,查看爬取速度:

可以看到一分钟,可以抓取848个item(数据项),这样一天下来:

848*60*24=1221120 可以抓取120万的微博数据!!

而且是在服务器上运行,可以源源不断的抓取!

同时在本地,通过Mongodb可视化工具,连接并查看数据库。

通过简单的count统计,抓取数量:

可以看到至此已经抓取1.8k用户信息,2.7w微博语料,8.2w分析关系信息。