willowj

摘要： 一般爬虫可以分为以下几个步骤： 一、打开指定网页 二、解析网页 三、处理/存储数据，新增任务网页 另外异步的话，需要调度器。 简单爬虫的话，不需要搞复杂验证码，requests/urllib修改cookie,header就能访问的话，写一个打开，一个解析就够了，处理数据和新任务，直接写在解析类就下， 阅读全文

摘要： 分布式进程可以布置在局域网之中，把安排的任务注册到局域网内，不同主机之间就可以传递信息，从而分配任务和反馈，不过并不适合返回大量数据； 首先需要一个服务器server，用来存放数据，其他机器通过局域网内ip访问到： 注意注册到服务器的ip和端口要和通信服务器端的一致。 局域网内各进程间接地通过 服务 阅读全文

摘要： # -*- coding: utf-8 -*- """ Created on Sat Jun 24 22:03:17 2017 @author: willowj """ import sys stdout, stdin, stderr = sys.stdout, sys.stdin, sys.stderr reload(sys) sys.stdout, sys.stdin, sys.std... 阅读全文

摘要： Requests 会话对象 会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie， 期间使用 urllib3 的 connection pooling 功能。所以如果你向同一主机发送多个请求，底层的 TCP 连接将会被重用，从而带来显著的性能提 阅读全文

摘要： 有三种索引：ix，iloc，loc； 使用方法都是 __.ix[row, column] 需要注意的差别是： 1，loc方法 按照标签； iloc方法 按照 位置下标（必须是整数）。 2，ix方法 混合标签索引和位置下标 ，先考虑是否是在标签索引中，然后考虑是位置下标。 如果是整数作为标签（默认0~ 阅读全文

摘要： cdlinux miniwdep 配置无线网卡 材料: 虚拟机 VMvare（这里使用版本 cdlinux40420） Cdlinux 镜像文件 USB网卡 （支持cdlinux的外置网卡，这里用的rt3070,免驱动，可以直接识别） 1新建cdlinux，配置cdlinux网络设备 设置好配置后， 阅读全文

摘要： vscode 是微软开发的编辑器，添加python插件就可以直接运行python脚本，也可以添加Jupyter插件用“#%%”魔术在开始行注释后 运行在python kernel 。 前提是已经安装好python，ipython，建议使用anaconda安装包。 安装python支持插件后，在脚本打 阅读全文

摘要： 一、选择逆透视的表， 二、power query从表添加进入编辑器 三、选择需要逆透视的表，点击逆透视 结果： 逆透视，按照列名与对应值进行降维。 阅读全文

摘要： power query 下载地址 https://www.microsoft.com/zh-cn/download/details.aspx?id=39379 power query 可以实现按key进行合并查找 eg: 一、：新建两个表格，excel开始栏套用表格格式就可以建立表格，这里第一个为表 阅读全文

摘要： 表格来源 http://www.cnblogs.com/dadong616/p/6824859.html 没有带+的都是只读或只写，带+则可读可写 这样的类，在get某个值时才io，每次读取或写入都得io，因此适合只少量配置变量 读比较简单： self.cfg.read(self.filename) 阅读全文