摘要： 爬取到的数据想要进行保存的话， 首先要对数据进行格式化话，这样数据格式统一才方便进行保存 数据格式化 item.py 在我们创建的爬虫项目中 item.py 这个文件就是负责进行格式化数据的 import scrapy # 这里我们可以创建多个class,每个对象中的字段就是我们要格式化的数据 # 阅读全文

摘要： Scrapy Scrapy 安装 Scrapy 架构 Scrapy 爬虫文件 Scrapy 过滤器 Scrapy 持久化 Scrapy 中间件 Scrapy 配置文件 Scrapy 案例 阅读全文

摘要： NumPy 广播 广播(Broadcast)是 numpy 对不同形状(shape)的数组进行数值计算的方式， 对数组的算术运算通常在相应的元素上进行。 如果两个数组 a 和 b 形状相同，即满足 a.shape == b.shape，那么 a*b 的结果就是 a 与 b 数组对应位相乘。这要求维数 阅读全文

摘要： NumPy 数组切片 索引是左臂右开区间，比如说x[0:9:1]，只能是取到索引等于0处的元素到索引等于8处的元素，而取不到索引等于9的这个元素。元素索引都是0开始的，第一个亓素的索引是0.第一个亓素的索引是1，以此类推下去。 当不写start代表从起始索引处取数，当不写stop代表一直取数到最后位 阅读全文

摘要： NumPy Ndarray 介绍 NumPy 最重要的一个特点是其 N 维数组对象 ndarray，它是一系列同类型数据的集合，以 0 下标为开始进行集合中元素的索引。 ndarray 对象是用于存放同类型元素的多维数组。 ndarray 中的每个元素在内存中都有相同存储大小的区域。 ndarray 阅读全文

摘要： numpy numpy 介绍 NumPy（Numerical Python）是Python的一种开源的数值计算扩展库 这种工具可用来存储和处理大型矩阵，比Python自身的嵌套列表结构要高效的多（该结构也可以用来表示矩阵），支持大量的维度数组与矩阵运算 一个强大的N维数组对象 ndarray 广播功 阅读全文

摘要： 构造 DataFrame 在pandas中，表格数据基本都是以DataFrame保存的，所以一般需要先将普通数据转换为DataFrame格式再进行操作，有5种常用方法 1、由 Series 数据转换 这种方式指定每一列为一个Series数据并给出列名，要求必须指定列名不然会报错，不要求每一个Seri 阅读全文

摘要： crontab # 进入目录下，每 10 分钟执行一次 */10 * * * * cd /home/coolinzhang/DouYinSpecial && python3 DouYinApp.py # 每天的 12 点整执行 0 12 * * * cd /home/coolinzhang/lego 阅读全文

摘要： Pandas 字符串处理 使用 str 可以使用 字符串 方法 fillna 替换缺失值 import pandas as pd # 读取的时候替换 data=pd.read_excel(filename).fillna('-') #fillna就是替换NA的单元格 contains 字符串方法将S 阅读全文

摘要： Pandas 汇总计算 排除NaN值 df['内容'].dropna() 计算平均数 mean_ = df['age'].mean() 多个列的平均数 result = df[['age', 'height']].describe() result.count().age # 取值 groupby 阅读全文