会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
苜蓿椒盐
博客园
首页
新随笔
联系
管理
订阅
上一页
1
2
3
2019年4月3日
LinkExtractor 深度爬取url中含有中文关键字
摘要: scrapy 默认的是utf-8的格式进行编码,在利用链接提取器LinkExtractor进行深度爬取的时候, 返回的Response中的url链接中可能会含有中文关键字,如果不进行处理的情况下scrapy会自动的将中关键字以utf-8的格式进行编码后再去请求这个url,但是网站的解析格式可能不是u
阅读全文
posted @ 2019-04-03 17:54 苜蓿椒盐
阅读(566)
评论(0)
推荐(0)
上一页
1
2
3
公告