摘要: 利用selenium爬取京东商城的商品信息思路: 1、首先进入京东的搜索页面,分析搜索页面信息可以得到路由结构 2、根据页面信息可以看到京东在搜索页面使用了懒加载,所以为了解决这个问题,使用递归。等待数据全部加载完成。 3、创建下一页的函数去完成点击事件,获取下一页的数据 4、首页处理就直接放在脚本运行就好了。 5、将数据放到mongodb中可以实现自己定义搜索内容,注意京东的页面数据最... 阅读全文
posted @ 2019-04-16 20:19 小锦毛 阅读(510) 评论(0) 推荐(0) 编辑