猫眼电影top100的爬取

最近在学习python爬虫，计划对猫眼电影的top100进行数据抓取，网上很多教程都是之前的，现在猫眼对反爬做了诸多限制，这次也花费了很多时间，终于搞定，记录下本次的过程。

1.首先分析猫眼电影top100新的地址，如下：

 

 2.再切换到其他板块观察，明显如下内容发生了变化，如下图：

 

 3.这时候就只能通过url地址中的关键字找解决方案了，需要去阅读js代码中如何生成这些参数的，通过观察js源代码有如下发现：

 

 4.于是乎就按照这个逻辑猜测进行了逻辑编码：

 

 这样就将url地址中的所需参数完成了拼接，至此爬虫程序可以抓取对应的电影信息了，需要源码的可以与我联系。

上述内容仅供学习交流，请勿用于任何非法或者商业行为~~~！！！

上述内容仅供学习交流，请勿用于任何非法或者商业行为~~~！！！

上述内容仅供学习交流，请勿用于任何非法或者商业行为~~~！！！