上一页 1 2 3 4 5 6 7 8 9 ··· 26 下一页
摘要: 1. uuid 全局唯一标识符 uuid 模块实现了全局唯一标识符(Universally Unique Identifier);这个RFC定义了一个系统,可以为资源创建唯一的标识符,这里采用一种不需要集中注册机的方式。UUID值为128位,正如参考指南所述,“UUID可以保证跨空间和时间的唯一性” 阅读全文
posted @ 2020-04-14 08:57 SmallGrayCode 阅读(1310) 评论(0) 推荐(0) 编辑
摘要: 1. http.cookies HTTP cookie http.cookies模块为大多数符合RFC2109的cookie实现一个解析器。这个实现没有标准那么严格,因为MSIE3.0x不支持完整的标准。 1.1 创建和设置cookie 可以用cookie为基于浏览器的应用实现状态管理,因此,coo 阅读全文
posted @ 2020-04-13 09:27 SmallGrayCode 阅读(1040) 评论(0) 推荐(0) 编辑
摘要: 1. base64 用ASCII编码二进制数据 base64模块包含一些函数可以将二进制数据转换为适合使用纯文本协议传输的ASCII的一个子集。Base64、Base32、Base16和Base85编码将8位字节转换为ASCII可打印字符范围内的字符,留出更多的位来表示数据,保证与只支持ASCII数 阅读全文
posted @ 2020-04-12 11:30 SmallGrayCode 阅读(1710) 评论(0) 推荐(0) 编辑
摘要: 1. urllib.request网络资源访问 robotparser为robots.txt文件格式实现一个解析器,提供了一个函数来检查给定的用户代理是否可以访问一个资源。这个模块可以用于合法蜘蛛或者需要抑制或限制的其他爬虫应用中。 1.1 robots.txt robots.txt文件格式是一个基 阅读全文
posted @ 2020-04-11 11:04 SmallGrayCode 阅读(617) 评论(0) 推荐(0) 编辑
摘要: 1. pandas数据分析 numpy能够帮我们处理处理数值型数据,但是这还不够。很多时候,我们的数据除了数值之外,还有字符串,还有时间序列等比如:我们通过爬虫获取到了存储在数据库中的数据。比如:之前youtube的例子中除了数值之外还有国家的信息,视频的分类(tag)信息,标题信息等。 所以,nu 阅读全文
posted @ 2020-04-10 08:57 SmallGrayCode 阅读(55942) 评论(0) 推荐(0) 编辑
摘要: 1. numpy科学计算基础库 1.1 numpy读取数据 CSV:Comma-Separated Value,逗号分隔值文件显示:表格状态源文件:换行和逗号分隔行列的格式化文本,每一行的数据表示一条记录。 由于csv便于展示,读取和写入,所以很多地方也是用csv的格式存储和传输中小型的数据,为了方 阅读全文
posted @ 2020-04-09 08:48 SmallGrayCode 阅读(337) 评论(0) 推荐(0) 编辑
摘要: 1. urllib.parse分解URL urllib.parse模块提供了一些函数,可以管理URL及其组成部分,这包括将URL分解为组成部分以及由组成部分构成URL。 1.1 解析 urlparse()函数的返回值是一个ParseResult对象,其相当于一个包含6个元素的tuple。 from 阅读全文
posted @ 2020-04-08 08:45 SmallGrayCode 阅读(2463) 评论(0) 推荐(1) 编辑
摘要: 1. selectors I/O多路复用抽象 selectors模块在select中平台特定的I/O监视函数之上提供了一个平台独立的抽象层。 1.1 操作模型 selectors中的API是基于事件的,与select中的poll()类似。它有多个实现,并且这个模块会自动设置别名DefaultSele 阅读全文
posted @ 2020-04-07 08:54 SmallGrayCode 阅读(335) 评论(0) 推荐(1) 编辑
摘要: 1. ipaddress Internet地址 ipaddress模块提供了处理IPv4和IPv6网络地址的类。这些类支持验证,查找网络上的地址和主机,以及其他常见操作。 1.1 地址 最基本的对象表示网络地址本身。可以向ip_address()传入一个字符串、整数或字节序列来构造一个地址。返回值是 阅读全文
posted @ 2020-04-06 09:06 SmallGrayCode 阅读(896) 评论(0) 推荐(0) 编辑
摘要: 1. numpy科学计算基础库 1.1 什么是numpy NumPy(Numerical Python)是Python语言的一个扩展程序库,支持大量的维度数组与矩阵运算,此外也针对数组运算提供大量的数学函数库。 NumPy的前身Numeric最早是由Jim Hugunin与其它协作者共同开发,200 阅读全文
posted @ 2020-04-05 09:49 SmallGrayCode 阅读(283) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 26 下一页