摘要：
提问： 为什么使用scrapy框架来写爬虫 ？ 在python爬虫中：requests + selenium 可以解决目前90%的爬虫需求，难道scrapy 是解决剩下的10%的吗？显然不是。scrapy框架是为了让我们的爬虫更强大、更高效。接下来我们一起学习一下它吧。 1.scrapy 的基础概念 阅读全文
posted @ 2017-11-06 21:34
xpyue
阅读(20627)
评论(1)
推荐(4)
摘要：
# coding=utf-8import requestsimport jsonfrom retrying import retryimport re class TyY: def __init__(self): self.url = ["http://www.tylaw.cn/cgi-bin/GL 阅读全文
posted @ 2017-11-06 15:54
xpyue
阅读(3409)
评论(0)
推荐(0)
摘要：
# coding=utf-8import requestsfrom lxml import etreeimport json class TianYuan: def __init__(self): self.url = "http://www.tylaw.com.cn/CN/Team.aspx" s 阅读全文
posted @ 2017-11-06 15:34
xpyue
阅读(7601)
评论(0)
推荐(0)
浙公网安备 33010602011771号