python怎么爬取js请求

网页的新闻在HTML源码中一条都找不到，全是由JS动态生成加载。

遇到这种情况，我们应该如何对网页进行爬取呢？有两种方法：

1、从网页响应中找到JS脚本返回的JSON数据；

2、使用Selenium对网页进行模拟访问

从网页响应中找到JS脚本返回的JSON数据

即使网页内容是由JS动态生成加载的，JS也需要对某个接口进行调用，并根据接口返回的JSON数据再进行加载和渲染。

所以我们可以找到JS调用的数据接口，从数据接口中找到网页中最后呈现的数据。

推荐学习《Python教程》。

课程教程：python怎么爬取js请求

内容版权声明：除非注明，否则皆为本站转载文章。文章及图片版权归原作者所有，如有侵权请联系我们，我们立刻删除。