上一页 1 ··· 83 84 85 86 87 88 89 90 91 ··· 125 下一页
摘要: 对于刚接触scrapy的同学来说, crawlspider中的rule是比较难理解的, 很可能驾驭不住. 而且笔者在YouTube中看到许多公开的演讲都都错用了follow这一选项, 所以今天就来仔细谈一谈. 首先我们看scrapy中的follow是如何实现的: # 为了方便理解, 去除了不必要代码 阅读全文
posted @ 2018-05-15 10:10 公众号python学习开发 阅读(511) 评论(1) 推荐(0)
摘要: Option Explicit Dim objIE Set objIE = CreateObject("InternetExplorer.Application") objIE.Visible = True WScript.sleep(100) call asplogin(objIE, "用户名", "密码") Wscript.Quit '---------------------------... 阅读全文
posted @ 2018-05-15 09:16 公众号python学习开发 阅读(248) 评论(0) 推荐(0)
摘要: Item是保存结构数据的地方,Scrapy可以将解析结果以字典形式返回,但是Python中字典缺少结构,在大型爬虫系统中很不方便。 Item提供了类字典的API,并且可以很方便的声明字段,很多Scrapy组件可以利用Item的其他信息。 定义Item 定义Item非常简单,只需要继承scrapy.I 阅读全文
posted @ 2018-05-14 09:29 公众号python学习开发 阅读(514) 评论(0) 推荐(0)
摘要: #!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = "Daniel Altiparmak (sixfinger78@gmail.com)" __copyright__ = "Copyright (C) 2015 Daniel Altiparmak" __license__ = "GPL 3.0" import asyncio... 阅读全文
posted @ 2018-05-11 17:01 公众号python学习开发 阅读(416) 评论(0) 推荐(0)
摘要: https://hubertroy.gitbooks.io/aiohttp-chinese-documentation/content/aiohttp%E6%96%87%E6%A1%A3/ClientUsage.html#%E4%BD%BF%E7%94%A8WebSockets 阅读全文
posted @ 2018-05-11 16:54 公众号python学习开发 阅读(181) 评论(0) 推荐(0)
该文被密码保护。 阅读全文
posted @ 2018-05-11 13:22 公众号python学习开发 阅读(0) 评论(0) 推荐(0)
摘要: #其中authenticity_token的值,位于一个隐藏的input标签中,另外headers需要传入的信息不止要有ua,还有 阅读全文
posted @ 2018-05-11 10:00 公众号python学习开发 阅读(198) 评论(0) 推荐(0)
摘要: 作者:申玉宝链接:https://www.zhihu.com/question/28168585/answer/74840535来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 爬虫(Spider),反爬虫(Anti-Spider),反反爬虫(Anti-Anti-Spi 阅读全文
posted @ 2018-05-10 17:04 公众号python学习开发 阅读(269) 评论(0) 推荐(0)
摘要: #!/usr/bin/env python # encoding: utf-8 from urllib.parse import * #urlparse:解析url分段 #urlsplit:类似urlparse,不再单独解析params部分 #urlunsplit:后面必须1个列表,里面5个参数 #urljoin:字符串的拼接 #parse_qs:字符串参数转字典参数 #parse_qs... 阅读全文
posted @ 2018-05-10 13:37 公众号python学习开发 阅读(196) 评论(0) 推荐(0)
摘要: 上面只是为了做一个 列表 元组转字典的练习,下面才是开始 阅读全文
posted @ 2018-05-10 09:01 公众号python学习开发 阅读(1100) 评论(0) 推荐(0)
上一页 1 ··· 83 84 85 86 87 88 89 90 91 ··· 125 下一页