爬虫遇到 HTTP 403 错误通常是因为服务器识别出请求非浏览器行为或触发反爬机制，最推荐的处理方向是完善请求头伪装、维护会话状态及控制请求频率，需注意代理 IP 无效或指纹特征泄露可能导致问题加剧。
先说结论：HTTP 403 表示服务器理解请求但拒绝授权，区别于 401 未认证，核心解决思路是消除爬虫特征。
- 先确认：检查 User-Agent、Referer 等请求头是否缺失或被识别为默认 Python 库标识。
- 先处理：使用 Session 维持 Cookie 会话，轮换代理 IP 避免单 IP 高频触发黑名单。
- 再验证：通过 httpbin.org/ip 验证代理生效，观察响应状态码是否恢复 200。
命令速用版
若使用 Python requests 库，可通过以下代码快速添加基础浏览器伪装头，适用于大多数静态网页爬虫场景：
import requests
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
"Referer": "https://example.com/",
"Accept-Language": "zh-CN,zh;q=0.9"
}
session = requests.Session()
resp = session.get("https://example.com/api/data", headers=headers)
print(resp.status_code)为什么会这样
HTTP 403 错误的本质是服务器拒绝授权执行请求，而非资源不存在或账号未登录。
根据 RFC 7231 定义，403 表示服务器理解请求但拒绝授权，这与 401 Unauthorized 有本质区别，后者通常指需要登录认证。
常见触发原因包括服务器检测到非常规浏览器标识（如默认 python-requests UA）、单 IP 请求频率过高触发防护机制、或缺少必要的 Cookie 会话凭证。
部分大型网站使用 Web 应用防火墙（WAF）如 Cloudflare，会检测 TLS 指纹或 JavaScript 挑战，普通请求库无法通过验证。
分步处理
步骤 1：伪装浏览器身份
必须覆盖 User-Agent、Referer、Accept-Language 三大基础头，避免使用固定 UA 字符串，建议每次请求随机轮换真实 UA。
若目标站登录后才开放数据，必须使用 requests.Session() 贯穿全程，首次请求需模拟登录拿到有效 cookies。
步骤 2：检查代理配置
若使用代理 IP，需验证代理是否真生效，格式必须是 http://user:pass@host:port，漏掉认证参数会导致 requests 静默降级为本机 IP。
确认代理协议一致，HTTP 站用 http 代理，HTTPS 站必须用支持 TLS 的代理，否则握手失败可能被记为异常行为。
步骤 3：控制请求频率
添加 time.sleep(1–3) 延时，尤其批量请求时，连续 5 次无延迟访问很多站会立刻 403 并记录 IP。
步骤 4：处理高级防护
若遇到 Cloudflare 防护，需过 JS 挑战，推荐改用 Playwright 或 Selenium 并禁用 webdriver 特征，注入 JS 补丁绕过检测。
怎么验证是否生效
使用 requests.get("https://httpbin.org/ip", proxies=proxies) 查看返回 IP 是否与代理 IP 匹配，确认代理生效。
观察响应状态码，若从 403 变为 200 且返回内容长度正常，说明伪装策略生效。
检查 Nginx 或应用日志，若日志中不再出现 403 记录或 permission denied，说明服务器端拦截已解除。
常见坑
免费代理大多已被标记，高匿不等于可用，有些代理出口 IP 本身就在 Cloudflare 或 Akamai 的黑名单里。
Selenium 启动后仍 403 可能漏掉了无头模式的指纹特征，新版 Chrome 对无头浏览器检测极严，navigator.webdriver 可能为 true。
ConnectionError 后紧接 403 说明代理根本没连上，流量实际走的是本地出口，需检查代理连通性。
常见问题
403 和 401 错误有什么区别？
401 表示未认证，通常补充账号密码或 Token 可解决；403 表示拒绝授权，即使登录也可能因权限不足或触发风控被拒。
为什么设置了代理 IP 还是 403？
可能代理协议不匹配、认证参数缺失导致静默降级，或代理 IP 本身已被目标网站列入黑名单。
Selenium 模拟浏览器为何仍被拦截？
可能未禁用 webdriver 特征或未通过 JS 挑战，需注入补丁隐藏自动化特征并使用真实浏览器内核。
参考来源
- Python 爬虫遇到 403 怎么解决_常见 HTTP 403 Forbidden 原因排查与绕过策略
- Python 爬虫命令执行时为何常遇 HTTP 403 错误？
- 手把手教你解决 Python 爬虫中的 HTTP 403 Forbidden 错误 (血泪经验总结)
- 爬虫工程化：使用中间件在 Scrapy 中统一处理 403 状态码
- Python Requests 爬虫返回 403 错误的解决方法