搭建一个可用的 Tor 代理
sudo apt-get install tor
接着修改 Tor 的配置。
sudo vim /etc/tor/torrc
SocksPort 0.0.0.0:9150
SocksPort 0.0.0.0:9151
SocksPort 0.0.0.0:9152
SocksPort 0.0.0.0:9153
SocksPort 0.0.0.0:9154
SocksPort 0.0.0.0:9155
SocksPort 0.0.0.0:9156
SocksPort 0.0.0.0:9157
SocksPort 0.0.0.0:9158
SocksPort 0.0.0.0:9159
NewCircuitPeriod 30 #对于每个端口来说,每30秒重新创建一个新链路,也就是换一个新IP
MaxCircuitDirtiness 30 # 设置更换ip的频率
CircuitBuildTimeout 10 #对于新建每个链路的过程来说,建立程序超过10秒则直接放弃,保障了连接到线路的质量
总结
爬虫从业者都会有个疑问:
Tor 这么好,为什么在商业应用中极其少见?
这是因为 Tor 分派的 IP 延时并不能满足商业化爬虫的低时延,高并发的需求,所以 Tor 只能存在于业余选手的玩具库里。
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。