Scrapy隧道代理用户名密码认证：凭据放进 proxy，不是目标站认证头

Scrapy 配置隧道代理后，如果返回 407、连接超时或请求仍然直连，问题通常不只在用户名和密码。代理 URL、请求中间件、环境变量和重试逻辑可能互相覆盖。先用单个请求确认认证，再接入 Scrapy 批量流程，排查会更快。

先确认代理 URL 和协议

Scrapy 常通过 meta['proxy'] 指定代理，例如：

yield scrapy.Request(
    url="https://api.example.com/health",
    meta={"proxy": "http://user:password@proxy.example.com:8080"},
)

真实密码不应硬编码在仓库。示例只展示结构，生产环境应从受控配置读取，并对 @、: 等特殊字符进行 URL 编码。若服务商提供 SOCKS5、HTTPS 代理或隧道入口，协议前缀必须与文档一致，不能只替换端口。

先用单条 curl 验证用户名密码

在接入 Scrapy 前，用最小 curl 请求确认代理入口、端口和认证本身可用：

curl --proxy "http://${PROXY_USER}:${PROXY_PASSWORD}@proxy.example.com:8080" \
  --connect-timeout 5 --max-time 20 \
  https://api.example.com/health

如果 curl 也返回 407，优先检查凭证、编码、来源 IP 白名单和套餐状态；如果 curl 成功而 Scrapy 失败，再看中间件是否改写了 meta['proxy'] 或请求头。不要用批量重试掩盖认证错误。

检查中间件是否覆盖代理设置

Scrapy 项目可能在 settings.py、下载器中间件或 process_request 中统一设置代理。常见问题是：请求里指定了一个代理，中间件又覆盖成另一个；重试中间件重新生成请求时丢失了 meta['proxy']；或者 HTTP_PROXY 环境变量与显式代理产生意外优先级。

排查时先只保留一个代理来源，并在脱敏后记录代理主机、端口和请求阶段。不要打印带密码的完整 URL。确认单条请求稳定后，再恢复轮换节点、并发和重试。

读懂 407、目标 401 和连接超时

目标接口的鉴权头与代理认证是两套凭证，不能混用。看到 401 时，不要继续修改代理密码；看到 407 时，也不要先调整目标 API 参数。

把凭证和重试放到受控配置

凭证可以通过环境变量、密钥管理服务或部署平台注入，避免写入 Scrapy settings 和版本库。日志中只保留脱敏后的代理标识、状态码、耗时和重试次数。对 407 这类确定性错误应快速失败，对连接超时和部分 5xx 才考虑有限退避，并设置最大重试次数。

使用 Scrapy 隧道代理前，应确认目标站点和数据访问已获授权。完成验证后轮换临时密码，收紧来源 IP 和套餐权限，再扩大并发或节点范围。