公众号python学习开发

2018年5月15日

摘要：对于刚接触scrapy的同学来说, crawlspider中的rule是比较难理解的, 很可能驾驭不住. 而且笔者在YouTube中看到许多公开的演讲都都错用了follow这一选项, 所以今天就来仔细谈一谈. 首先我们看scrapy中的follow是如何实现的: # 为了方便理解, 去除了不必要代码阅读全文

posted @ 2018-05-15 10:10 公众号python学习开发阅读(511) 评论(1) 推荐(0)

vbs登陆网站

摘要： Option Explicit Dim objIE Set objIE = CreateObject("InternetExplorer.Application") objIE.Visible = True WScript.sleep(100) call asplogin(objIE, "用户名", "密码") Wscript.Quit '---------------------------... 阅读全文

posted @ 2018-05-15 09:16 公众号python学习开发阅读(248) 评论(0) 推荐(0)

2018年5月14日

转 Scrapy笔记（5）- Item详解

摘要： Item是保存结构数据的地方，Scrapy可以将解析结果以字典形式返回，但是Python中字典缺少结构，在大型爬虫系统中很不方便。 Item提供了类字典的API，并且可以很方便的声明字段，很多Scrapy组件可以利用Item的其他信息。定义Item 定义Item非常简单，只需要继承scrapy.I 阅读全文

posted @ 2018-05-14 09:29 公众号python学习开发阅读(514) 评论(0) 推荐(0)

2018年5月11日

aiohttp/asyncio 多次请求

摘要： #!/usr/bin/env python # -*- coding: utf-8 -*- __author__ = "Daniel Altiparmak (sixfinger78@gmail.com)" __copyright__ = "Copyright (C) 2015 Daniel Altiparmak" __license__ = "GPL 3.0" import asyncio... 阅读全文

posted @ 2018-05-11 17:01 公众号python学习开发阅读(416) 评论(0) 推荐(0)

aiohttp的学习

摘要： https://hubertroy.gitbooks.io/aiohttp-chinese-documentation/content/aiohttp%E6%96%87%E6%A1%A3/ClientUsage.html#%E4%BD%BF%E7%94%A8WebSockets 阅读全文

posted @ 2018-05-11 16:54 公众号python学习开发阅读(181) 评论(0) 推荐(0)

博客园模拟登陆

该文被密码保护。阅读全文

posted @ 2018-05-11 13:22 公众号python学习开发阅读(0) 评论(0) 推荐(0)

python登陆github

摘要： #其中authenticity_token的值，位于一个隐藏的input标签中，另外headers需要传入的信息不止要有ua，还有阅读全文

posted @ 2018-05-11 10:00 公众号python学习开发阅读(198) 评论(0) 推荐(0)

2018年5月10日

反爬虫

摘要：作者：申玉宝链接：https://www.zhihu.com/question/28168585/answer/74840535来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。爬虫(Spider)，反爬虫(Anti-Spider)，反反爬虫(Anti-Anti-Spi 阅读全文

posted @ 2018-05-10 17:04 公众号python学习开发阅读(269) 评论(0) 推荐(0)

urllib url解析学习

摘要： #!/usr/bin/env python # encoding: utf-8 from urllib.parse import * #urlparse:解析url分段 #urlsplit:类似urlparse，不再单独解析params部分 #urlunsplit:后面必须1个列表，里面5个参数 #urljoin:字符串的拼接 #parse_qs:字符串参数转字典参数 #parse_qs... 阅读全文

posted @ 2018-05-10 13:37 公众号python学习开发阅读(196) 评论(0) 推荐(0)

python3使用urllib获取set-cookies

摘要：上面只是为了做一个列表元组转字典的练习，下面才是开始阅读全文

posted @ 2018-05-10 09:01 公众号python学习开发阅读(1100) 评论(0) 推荐(0)

一起来学python

android逆向

公告