哎，说到爬虫这事儿，估计搞数据的没几个不头疼的。明明代码写得漂漂亮亮，结果IP被封得妈都不认识，数据没捞着几个，反而账号和请求被拉黑了一堆。别问我怎么知道的，都是泪。
不过后来我学乖了，搞了个代理IP池。这东西说白了就是一个“IP仓库”，里面放着一大堆可以轮着用的IP地址。你这一个IP被网站ban了？没事，换下一个，无缝衔接，爬虫照样跑得飞起。效率？那肯定翻倍啊。稳定性？只要IP池不塌，基本稳如老狗。
那怎么搭呢？别急，我一步步跟你说，保证都是能直接上手操作的干货，不跟你扯那些虚头巴脑的“架构理念”。
第一，你得搞到代理IP。免费的有，但真心不建议用。速度慢、不稳定，还可能被人插了恶意代码。推荐直接上付费的，一个月几十到几百不等，看你的需求。比如芝麻代理、蘑菇代理、站大爷这些，都还行。买的时候注意看套餐是不是支持高并发、是否透明代理（要不要认证），最好买那种带API提取链接的，方便我们后面自动更新。
拿到API链接之后，先手动试一下能不能返回一批IP。一般是返回一个文本，每行一个ip:port格式的地址。如果有用户名密码认证的话，记得把认证信息也带上。
接下来就是重头戏：写个脚本自动抓取这些IP、验证可用性、接着存起来。语言嘛，Python最方便，写起来快。
你可以搞个proxypool文件夹，里面放几个文件：getter.py、tester.py、db.py，再加个run.py当主入口。别搞太复杂，能跑起来就行，后期再优化。
getter.py就干一件事：调代理服务商的API，把IP列表拉下来，去重，接着先临时存起来，比如写进一个raw_ips.txt。建议每隔10-15分钟跑一次，避免IP失效太多。
光拉下来还不够，很多IP可能是废的，或者速度巨慢。所以你得验货。这就是tester.py的活儿了。怎么验？很简单，拿每个IP去请求一个稳定的网站，比如https://httpbin.org/ip，或者你想爬的那个目标站（小心点别把人吓着）。如果返回200，并且能返回正确的代理IP，就说明这个IP是通的。
验证通过的就存进正式库。存储最好用Redis，别用文件或者SQLite。为啥？因为速度快，还支持定时过期。你肯定不希望一堆废IP占着位置吧？每个IP可以设一个分数，初始100分，每次请求失败扣分，分数低于60就自动踢掉。这样就能实现IP池的自我净化。
说到Redis，你可以在本地装一个，或者用云服务商的。连接之后，用一个有序集合（zset）存IP和分数，特别方便。
接着就是怎么让爬虫用到这些IP了。有两种常见方式：一种是爬虫每次请求之前，从Redis里随机抽一个IP；另一种是搭一个API服务，比如用Flask写个极简接口，访问/get就返回一个可用IP。这样爬虫代码里直接调这个接口拿IP，更方便管理。
我一般喜欢用第二种，写个api.py，里面三五行代码：
from flask import Flask
import redis
app = Flask(__name__)
r = redis.Redis()
@app.route('/get')
def get_ip():
ips = r.zrangebyscore('proxies', 60, 100)
if ips:
return random.choice(ips)
return 'no ip available', 503
当然这只是一个极简版，你可以加很多功能，比如按协议类型筛选、返回https代理等等。
末尾，别忘了写个主调度程序，比如用APScheduler这几个模块定时跑getter和tester。让整个池子活起来，自动更新、自动验活、自动剔除坏的。
这些都做完了之后，你的爬虫代码就可以改成这样：
import requests
from proxypool_api import get_proxy # 你自己写的那个API
def crawl(url):
while True:
proxy = get_proxy().strip()
try:
resp = requests.get(url, proxies={"http": "http://" + proxy, "https": "https://" + proxy}, timeout=5)
if resp.status_code == 200:
return resp.text
except:
print(f"Proxy {proxy} failed, trying next...")
# 还可以在这里通知IP池这个IP不行了，扣个分
到这，一个最基础但能真正用起来的代理IP池就搭好了。是不是没有想象中那么复杂？
当然了，这只是入门级方案。如果你要处理千万级别请求，那得考虑用集群、负载均衡、异地容灾这些玩意儿。但90%的中小规模爬虫，这个结构绝对够用。
末尾再啰嗦两句：
- 代理IP的类型要搞清楚。透明代理、匿名代理、高匿代理，差别很大。高匿代理最安全，一般目标网站发现不了你在用代理。
- 注意代理协议，http和https不一样，别混着用。
- 控制访问频率，哪怕你IP再多，同一个网站疯狂请求照样会被封。最好结合爬虫速率控制一起做。
好了，差不多就这些。赶紧动手搭一个吧，搭完你会发现爬虫世界突然变得特别美好。数据有了，效率上来了，老板表扬了，下班也早了（可能并没有）。总而言之，值得搞。
公网安备42018502007272号
