摘要： Java语法快速入门 1.1 程序的入口 # java程序入口为类中的static的viod的main函数，参数固定为字符串数组 public static void main(String[] args) { System.out.println("hello world"); } 1.2 文件名 阅读全文

摘要： 1.爬取空气质量在线检测分析平台：https://www.aqistudy.cn/?mobile=false 问题： 1.登录成功后，右击会显示如下 2.登录成功后会显示如下弹框：检测到非法调试，右键被管理员占用 3.试下F12，显示结果如下，依然不行 4.先把调试工具打开，在输入网址，点击回车 显 阅读全文

摘要： 一.MD5加密 MD5是一个非常常见的摘要(hash)算法.. 其特点就是小巧. 速度快. 极难被破解(王小云女士). 所以, md5依然是国内非常多的互联网公司选择的密码摘要算法. 这玩意不可逆. 所以. 摘要算法就不是一个加密逻辑. 相同的内容计算出来的摘要应该是一样的 不同的内容(哪怕是一丢丢 阅读全文

摘要： 分布式 分布式的本质就如上期提到的一个概念：分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像是单个相关系统。这就是在说，把廉价的计算机堆到一起，通过程序控制，使其整体用起来像个高性能计算机，目的就是节约成本。 对于分布式爬虫系统来说，假设1台机器能10天爬完一个任务，如果部署10台机器， 阅读全文

摘要： 1.数据解析 -使用response.xpath("xpath表达式") -scrapy封装的xpath和etree中的xpath区别： -scrapy中的xpath直接将定位到的标签中存储的值或者属性值取出，返回的Selector对象数据值是存储在Selector对象的data属性，需要调用ext 阅读全文

摘要： 一、验证码识别 验证码识别是基于线上的打码平台识别验证码 -打码平台： 1.超级鹰(http://www.chaojiying.com/) -注册（用户中心身份） -登录（用户中心身份） -1.查询余额，请充值 -2.创建一个软件ID（899370） -3.下载示例代码 2.云打码 3.打码兔 示例 阅读全文

摘要： cookie使用 cookie是存储在客户端的一组键值对 web在cookie的典型应用是免密登录 cookie和爬虫之间的关联： 有时，在对一张页面进行请求的时候，如果请求的过程中不携带cookie的话， 那么就无法请求到正确的页面数据，。因此cookie是爬虫中一个非常典型且常见的反爬机制 im 阅读全文

摘要： 1.环境安装 pip install lxml 2.解析原理 2.1实例化一个etree的对象，且将待解析的页面源码数据加载到该对象中 2.2调用etree对象的xpath方法结合着不同的xpath表达式实现标签的定位和数据提取 3.实例化etree对象 etree.parse('filename' 阅读全文

摘要： bisect.bisect_left(data, 4, lo=0, hi=len(a)) # 在data找到第一个大于等于4的数的index（即插入4后左边数小于4，右边数大于等于4） bisect.bisect_right(data, 4) # 在data找到第一个大于4的数的index（即插入4 阅读全文

摘要： pd.merge(left, right, how='inner', on=None, left_on=None, right_on=None, left_index=False, right_index=False, sort=False, suffixes=('_x', '_y'), copy= 阅读全文