BeautifulSoup 只能解析服务器直接返回的静态 HTML 源代码，无法执行 JavaScript，因此无法获取通过 JS 动态加载的内容。解决方向是寻找数据接口或使用支持 JS 渲染的工具。

快速处理思路

对比浏览器“查看网页源代码”与“检查元素”的内容差异，确认数据是否存在于初始 HTML 中。

为什么会这样

服务器返回的初始响应与浏览器渲染后的 DOM 结构不一致。BeautifulSoup 仅处理 HTTP 响应体内的原始 HTML，而动态内容通常由 JavaScript 在客户端发起额外请求后插入页面。

分步处理

第一步查看网页源代码，搜索目标数据关键词，若不存在则说明是动态加载。第二步打开浏览器开发者工具 Network 面板，筛选 XHR 或 Fetch 请求，寻找返回 JSON 数据的接口。第三步若无法找到接口，改用 Selenium 或 Playwright 等自动化工具控制浏览器获取渲染后的页面源码。

怎么验证是否生效

在代码中打印解析到的元素列表长度，或使用断言检查特定文本是否存在。若使用自动化工具，需确认页面完全加载后再获取源码。

常见坑

自动化工具未设置显式等待导致获取到空页面。频繁请求动态接口可能触发反爬机制。使用浏览器工具会显著增加内存消耗和运行时间。

常见问题

BeautifulSoup 能执行 JavaScript 吗？

不能，BeautifulSoup 不具备 JavaScript 引擎，无法触发任何客户端脚本。

如何判断数据是动态加载的？

在浏览器中右键点击页面选择“查看网页源代码”，若搜不到数据但在页面上能看到，即为动态加载。

Selenium 和 BeautifulSoup 能一起用吗？

可以，先用 Selenium 获取渲染后的 HTML 字符串，再交给 BeautifulSoup 进行解析。

参考来源

• BeautifulSoup 官方文档，Navigating the parse tree，https://www.crummy.com/software/BeautifulSoup/bs4/doc/
• Selenium 官方文档，WebDriver Overview，https://www.selenium.dev/documentation/