Python 爬虫内存泄漏通常由循环引用或未关闭的网络连接引起，推荐使用内置模块 tracemalloc 定位大对象，配合 gc 模块清理循环引用。注意频繁调用 gc.collect() 会增加 CPU 开销，仅建议在内存增长异常时手动触发。

命令速用版

以下代码片段可直接嵌入爬虫主循环，用于快速监测内存变化。

import tracemalloc
import psutil
import os

tracemalloc.start()

# 获取当前进程内存占用 (MB)
process = psutil.Process(os.getpid())
mem_mb = process.memory_info().rss / 1024 / 1024

# 抓取快照
snapshot = tracemalloc.take_snapshot()
top_stats = snapshot.statistics('lineno')

# 打印占用最大的前 5 行
for stat in top_stats[:5]:
    print(stat)

为什么会这样

Python 的垃圾回收机制能处理大部分内存，但循环引用和 C 扩展库资源不会自动释放。

Python 使用引用计数和垃圾回收器（GC）管理内存。当对象互相引用导致计数不归零时，GC 需要介入扫描。爬虫场景中，lxml 解析树、未关闭的 socket 连接或全局缓存列表容易形成循环引用或持有心智模型之外的资源。公开资料中没有看到可靠的量化数据说明具体泄漏比例，但常见模式是对象池不断增长。

分步处理

按照以下顺序排查和修复，每一步完成后需观察内存状态。

1. 监控进程内存基线

使用 psutil 记录爬虫启动后 idle 状态的内存值，作为基线。如果基线随时间阶梯式上升，说明存在泄漏。

2. 识别大对象来源

在代码关键位置插入 tracemalloc 快照。对比循环前后的快照差异，查看哪个文件行号分配了最多内存。重点关注 HTML 解析对象和响应内容。

3. 清理循环引用

对于复杂对象结构，显式调用 gc.collect() 强制回收。适用场景是长周期任务的中途休整期，风险边界是会导致当前线程暂停。

4. 管理外部资源

使用 requests.Session() 复用连接，但需在程序退出或会话重置时显式关闭。文件操作和数据库连接必须使用 with 上下文管理器确保关闭。

5. 限制缓存大小

检查是否有全局 list 或 dict 用于去重或存储结果。改用固定大小的队列或定期清空，避免内存无限增长。

怎么验证是否生效

运行爬虫超过一个完整的抓取周期（例如 1 小时或 10 万页），观察操作系统层面的内存监控。

使用 top 命令查看 RES 列数值。如果数值在初期上升后保持稳定波动，不再随抓取量线性增长，则修复生效。若使用 tracemalloc，对比修复前后的快照差异，确认大对象不再累积。

常见坑

全局变量存储所有抓取结果是最高频的泄漏原因，建议写入数据库或文件后立即清空内存变量。

lxml 和 BeautifulSoup 解析大型 HTML 文档时，若保留整个树结构而不删除节点，会占用大量内存。解析完所需数据后应显式删除解析对象。

在异步爬虫中，未完成的任务队列可能持有响应对象引用。确保异常处理分支也清理了相关对象。

常见问题

gc.collect() 可以频繁调用吗？

不建议频繁调用，会显著降低爬虫速度。

gc.collect() 会触发全量扫描，仅建议在检测到内存达到阈值时按需调用，或作为兜底策略在每抓取 N 页后执行一次。

requests 会话不关闭会有什么后果？

会导致 socket 连接泄漏和内存占用增加。

未关闭的 Session 会保持连接池活跃，占用文件描述符和内存。应在爬虫结束时调用 session.close()。

如何区分内存泄漏和高内存占用？

内存占用高是静态值大，内存泄漏是随时间持续增长。

如果内存启动后就很高但稳定，是占用高；如果内存随抓取数量增加而不停上升，是泄漏。

参考来源

• Python 官方文档，tracemalloc 模块说明，https://docs.python.org/3/library/tracemalloc.html
• Python 官方文档，gc 模块说明，https://docs.python.org/3/library/gc.html
• Requests 官方文档，Session 对象用法，https://requests.readthedocs.io/en/latest/user/advanced/#sessions
• psutil 库文档，Process 类内存信息，https://psutil.readthedocs.io/en/latest/#psutil.Process.memory_info