2017年12月28日
scrapy中的cookies参数详解
摘要： COOKIES_ENABLED 默认： True 是否启用cookiesmiddleware。如果关闭，cookies将不会发送给web server。 COOKIES_DEBUG 默认： False 如果启用，Scrapy将记录所有在request(cookie 请求头)发送的cookies及re 阅读全文
posted @ 2017-12-28 19:02 在路上-UP 阅读(3327) 评论(0) 推荐(0)
xpath使用技巧
摘要： 爬虫中我们对于元素的定位有多种方法，大致有： Beautifulsoup、Xpath和正则表达式三种方式 其中效率比较为： Beautifulsoup<Xpath<正则表达式 习惯了使用Beautifulsoup的新手在转为使用xpath时可能回遇到一个问题： xpath的text()方法无法像Be 阅读全文
posted @ 2017-12-28 15:44 在路上-UP 阅读(364) 评论(0) 推荐(0)