VPS自建爬虫代理服务

前言

爬虫原先一直想用免费的代理,但是实践表明,免费的东西,质量就是很差的.

恰好手上有好几台VPS,所以想自己搭建一个代理,这个自建的代理肯定就是好用的!

具体的方法是采用squid来搭建代理.

方法

安装squid

1
2
apt-get update
apt-get install squid3

安装密码服务

网络上有很多专门爬免认证的代理的爬虫,如果我们自己搭建的代理服务器不加认证的话,会被这些爬虫探测到然后沦为了免费代理。

使用htpasswd来创建passwords文件,htpasswd命令在软件包apache2-utils中。

1
apt-get install apache2-utils

生成密码

1
htpasswd -bc /etc/squid/password <your username> <your password>

加上读权限

1
chmod o+r /etc/squid/password

修改squid配置文件

1
vim /etc/squid/squid.conf

首先注释

1
#http_access deny all

然后修改默认端口3128

1
http_port 8732

最后在末尾加上

1
2
3
4
5
6
7
8
9
10
#允许的客户端ip
acl allcomputers src 0.0.0.0/0.0.0.0
#配置用户名密码,后面会生成passwords文件
auth_param basic program /usr/lib/squid/basic_ncsa_auth /etc/squid/password
auth_param basic realm proxy
acl authenticated proxy_auth REQUIRED
http_access allow authenticated allcomputers
request_header_access X-Forwarded-For deny all
request_header_access From deny all
request_header_access Via deny all

启动代理服务

1
service squid3 start

这时候,在本地验证一下:

1
curl -x http://<your username>:<your password>@ip_address:port ip.cn

可以看到已经成功经过了代理访问