摘要:
利用selenium爬取京东商城的商品信息思路: 1、首先进入京东的搜索页面,分析搜索页面信息可以得到路由结构 2、根据页面信息可以看到京东在搜索页面使用了懒加载,所以为了解决这个问题,使用递归。等待数据全部加载完成。 3、创建下一页的函数去完成点击事件,获取下一页的数据 4、首页处理就直接放在脚本运行就好了。 5、将数据放到mongodb中可以实现自己定义搜索内容,注意京东的页面数据最... 阅读全文
posted @ 2019-04-16 20:19
小锦毛
阅读(553)
评论(0)
推荐(0)
浙公网安备 33010602011771号