会员
周边
新闻
博问
融资
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
Loading
阿dun
博客园
首页
新随笔
管理
2020年5月8日
Scrapy+selenium爬取简书全站-爬虫
摘要: Scrapy+selenium爬取简书全站 环境 Ubuntu 18.04 Python 3.8 Scrapy 2.1 爬取内容 文字标题 作者 作者头像 发布日期 内容 文章连接 文章ID 思路 分析简书文章的url规则 使用selenium请求页面 使用xpath获取需要的数据 异步存储数据到M
阅读全文
posted @ 2020-05-08 19:37 阿dun
阅读(1309)
评论(0)
推荐(0)
编辑