代理IP并发限流怎么配置？从队列、令牌桶到 429 恢复

代理IP并发限流，是爬虫、价格监控和批量检测链路里最容易被低估的一环。很多团队以为代理池越大、线程越多，采集速度就越快；实际上并发过高会同时压垮代理入口、目标站连接、业务解析和重试队列，最后表现为超时、403、429、验证码增多，甚至有效数据量下降。

限流的目标不是把速度降到很慢，而是让每个目标站、每类页面和每组代理都运行在可控区间内。稳定的吞吐，比短时间冲高后大面积失败更重要。

为什么代理任务必须限流

代理只是网络出口，不会自动解决目标站频率限制。目标站通常会按 IP、账号、Cookie、路径、请求头、设备指纹和时间窗口判断访问是否异常。如果同一批代理在几秒内打出大量请求，即使每个 IP 都能连通，也可能快速触发 429 Too Many Requests。

如果业务是公开页面采集、价格监控或搜索结果巡检，可以优先用隧道代理IP配合并发限流；如果涉及账号登录和长期会话，则要结合住宅静态代理IP或独享出口，减少环境跳动。

先按目标站拆并发池

不要把所有任务放进同一个全局线程池。更稳的做法是按目标域名、页面类型、账号状态和代理产品拆成多个并发池。

例如，列表页可以承载更高频率，详情页要降低速度，登录后页面要严格限制。A 站每分钟 300 次能稳定，不代表 B 站也能承受。不同目标站的 403、429、超时阈值都不同，应分别记录。

建议的基础配置包括：全局最大并发、单域名最大并发、单 IP 时间窗口请求数、单账号请求间隔、失败重试上限、429 冷却时间、代理淘汰规则和告警阈值。

令牌桶适合控制请求节奏

代理IP并发限流常用队列和令牌桶组合。队列负责排队，令牌桶负责控制单位时间内能放行多少请求。相比固定 sleep，令牌桶更适合处理波动任务：低峰时不浪费额度，高峰时自动排队。

实际配置时可以从保守值开始，例如每个目标域名先设置较低并发，观察 30 分钟到 2 小时的成功率、P95 响应、429 占比和重试成功率，再逐步上调。每次只改一个参数，否则很难判断效果来自哪里。

对高价值目标，建议加入冷却机制：一旦某个代理、账号或域名连续出现 429，就暂停一段时间，而不是立即换 IP 无限重试。无限重试会让异常请求越来越密，反而扩大问题。

失败恢复要分类处理

限流不是只看状态码。连接失败、代理认证失败、目标站 403、目标站 429、字段缺失和解析异常，应该走不同处理路径。

这套分类能避免“所有失败都换 IP”的粗暴策略。很多 429 是请求节奏问题，不是 IP 数量问题；很多字段缺失是页面变化，不是代理问题。

用指标决定扩容还是降速

代理扩容前先看数据。至少记录请求总量、成功量、有效字段命中率、P95 响应、超时率、403/429 占比、重试次数、单条有效数据成本和每组代理的贡献。

如果代理连通率高但业务成功率低，应优先排查目标站策略和请求频率；如果代理连通率本身下降，再排查授权、线路和代理池质量。只有当限流后成功率仍稳定、队列积压持续增加时，才考虑扩容代理或服务器。

悟空代理的落地建议

悟空代理可按任务类型配置代理组合：公开采集和监控使用隧道代理，账号场景使用住宅静态代理或独享代理 IP，企业联调可评估云服务器代理IP。无论选择哪种产品，都建议先用小样本压测并发边界，再逐步放量。

总结

代理IP并发限流的关键，是把速度建立在成功率之上。先按目标站拆池，再用队列和令牌桶控制节奏，遇到 429 先降速冷却，遇到代理连通问题再更换或淘汰。

如果你的采集任务正在出现超时、429 或重试成本升高，可以先用悟空代理做一组真实目标站测试，把并发、冷却、重试和成功请求成本记录清楚，再决定扩容方案。更多产品信息可访问悟空代理官网。