处理爬虫被封锁的最直接手段是更换出口IP。通过让每个请求走不同的代理，或者每隔几个请求切换一次IP，能有效规避速率限制和“请稍后再试”的拦截。当服务器返回 429 Too Many Requests 时，说明请求频率已超出服务端阈值，这是典型的触发风控信号 [source: MDN]。
核心逻辑：构建一个代理池。每次请求随机选取一个代理，或每执行5到20次请求后切换。举例来说，若需抓取5000个商品页，分摊给100个IP，每个IP仅需处理50页。这种分散负载的模式远比单一IP高频请求显得自然。
理解代理轮换的本质
代理充当中间服务器的角色。爬虫将请求发送至代理，再由代理向目标网站发起获取。网站端仅能识别代理的IP地址，无法追踪爬虫源站的真实IP。
代理轮换指的是同时使用多个代理IP，并持续动态切换。此举将流量分散至不同节点，同时规避基于单一IP的简单封禁。
类比生活场景：一人购买400个西瓜极易引起怀疑，而一百人各买四个则显得寻常。爬虫IP轮换正是通过“群体化”降低单个节点的异常感。
为何必须轮换IP
网站会监控流量特征，自动拦截具备机器行为模式的数据包。
- 单IP请求过载 会直接触发限流机制。
- 固定时间间隔 的重复访问暴露出非人工操作痕迹。
- 缺失标准请求头 是识别爬虫的显著特征。
- 劣质代理 极易被快速识别并拉黑。低价代理在请求几页后即失效的情况屡见不鲜。
IP轮换并非万能解药，它只是构建稳健爬虫体系的一环。完整的方案还需包含随机延迟、重试机制、规范的请求头和遵循目标网站的访问协议。
选择适配的代理类型
代理类型直接影响抓取效果与成本。
- 数据中心代理： 速度极快且成本低，但易被识别，适用于基础场景。
- 住宅代理： 模拟家庭宽带IP，行为特征更自然，费用相对较高。
- 移动端代理： 使用移动网络IP，抗检测能力强，价格昂贵。
- 轮换网关： 提供统一接入点，由服务商在后台自动切换IP，操作简便。
初学者建议优先选用轮换网关。单一接入点背后是服务商的自动调度机制，大幅降低了手动维护IP列表的复杂度。
基础轮换实现方式
常见的IP切换策略分为三类。
- 逐请求轮换： 每个页面使用新IP，安全系数高，适用于多数场景。
- 定量轮换： 单IP执行10次请求后强制切换。
- 故障触发轮换： 代理被封锁或连接失败时，立即跳转至备用IP。
抓取商品详情页时，每5到10次请求切换一次IP通常效果良好。但在处理搜索页或需登录的区域时需谨慎，部分网站对同一会话内的IP突变比较敏感。
Python代码示例
以下代码展示如何使用 Python 与 requests 库实现随机代理选取。
import random
import requests
import time
proxies = [
“http://user:pass@proxy1.example.com:8000”,
“http://user:pass@proxy2.example.com:8000”,
“http://user:pass@proxy3.example.com:8000”
]
urls = [
“https://example.com/page1”,
“https://example.com/page2”,
“https://example.com/page3”
]
headers = {
“User-Agent”: “Mozilla/5.0”
}
for url in urls:
proxy = random.choice(proxies)
try:
response = requests.get(
url,
headers=headers,
proxies={
“http”: proxy,
“https”: proxy
},
timeout=10
)
print(url, response.status_code)
time.sleep(random.uniform(2, 5))
except requests.RequestException as error:
print(“Proxy failed:”, proxy, error)
该脚本演示了基本逻辑：选定代理、发起请求、随机延时、循环执行。
构建得体的重试机制
网络故障与代理超时不可避免。重试逻辑需避免暴力请求。
- 首次失败： 等待3秒后重试。
- 二次失败： 等待10秒后重试。
- 三次失败： 暂停该URL，转入后续处理队列。
这种分级等待策略防止爬虫沦为持续骚扰服务器的故障设备。
会话保持策略
部分网站要求单一访客在短时间内保持IP一致，常见于购物车、个人资料及登录态维持场景。
此时需启用 粘性会话。粘性会话锁定同一代理IP在设定时长内（如5、10或30分钟）不变更，到期后再行轮换。
适用粘性会话的情况包括：
- 依赖Cookie维持状态。
- 涉及登录操作。
- 模拟用户完整操作流。
- 目标网站拥有严密的会话追踪机制。
监控抓取成功率
数据驱动而非经验猜测。建立日志记录体系能显著降低排查成本。
- 状态码 200： 页面正常加载。
- 状态码 403： 访问被拒绝或无权限。
- 状态码 429： 请求频率超限。
- 连接超时： 代理节点响应迟缓或失效。
当成功率跌破 85% 阈值时，需立即降速。剔除失效代理，优化请求头，延长间隔时间。代理清洗工作枯燥但不可或缺，是维持抓取稳定性的核心环节。
