摘要： 一、Python pickle Python 的Pickle模块是将 Python对象存入 .pkl后缀的文件，在需要使用时将其迅速转换为Python对象。 避免了多次读取数据库的操作，提高了程序执行效率。 其大致分为3步：import 、存储和读取 import pickle 存储： import 阅读全文

摘要： 目录： 一、irtualenv使用 二、scode中配置virtualenv、python代码规范 三、ubuntu安装jupyter notebook 四、notebook中添加virtualenv环境 五、ubuntu中切换python版本 六、windows jupyter添加、删除virtu 阅读全文

摘要： 这两天玩欧冠数据， 看到数据格式是.yml结尾的文件， 就查了下什么是yaml文件，Python怎么操作 yaml文件简述 yaml： Yet Another Markup Language， 一种基于Unicode容易阅读的、与脚本交互的用于表达资料序列的编程语言。类似于XML，但语法比XML简单 阅读全文

摘要： 最近看了《利用Python进行数据分析》复习了一下Numpy里的一些操作，做一些基本函数使用的总结，避免后面忘了又瞎找，提高效率。 一、 数组生成 创建数组 # 1. 一维数组 import numpy as np num = [ 1, 2, 3, 4, 5] data = np.array(num 阅读全文

摘要： 一、聚类模型简述。 聚类算法属于无监督学习，样本标记信息未知，通过学习数据本身的内在性质和规律，试图将数据集划分为若干个相似子集。 聚类模型区别于分类模型的主要有一下几点： 1. 数据集无标注，我不知道数据具体有几类，而是通过机器聚类告诉我这个数据集可以有几个类属性。 2. 在学习过程中无需调参。 阅读全文

摘要： 以前老踩这坑，没总结。。。。。 数据集如下： 上面age列是根据出生日期得到的年龄，我要将age连续数据离散化，改成4个年龄段的，“20~25 离散化 为数值1， 26~30 离散化为数值2， 30~35离散化为数值3 和 >35 离散化数值4 ” 的四段。修改这些数据时，需要通过行列定位再来处理， 阅读全文

摘要： 一、配置步骤 hadoop官网 下载 tar.gz 镜像 下载安装winRAR ， 管理员权限打开CMD， 切换到hadoop目录下， 输入start winrar x -y hadoop-3.1.2.tar.gz 执行解压（不下载安装winRAR， 用7zip解压会报错） 配置hadoop环境 J 阅读全文

摘要： http://pandas.pydata.org/pandas-docs/stable/getting_started/10min.html pandas 10分钟入门教程 import pandas as pd #Series 和 DataFrame 都是 Pandas库的数据结构，使用前要导入 阅读全文

摘要： 最近看了《利用Python进行数据分析》，又复习了一下Numpy里的一些操作，做一些基本函数使用的总结，避免后面忘了又瞎找，提高效率。 一、 数组生成 创建数组 # 1. 一维数组 import numpy as np num = [ 1,2,3,4,5] data = np.array(num) 阅读全文

摘要： 要使用分词器来看下各个分词器对文本数据的分词效果，找了很多资料发现有推荐最多的开源分词工具就是结巴（jieba）分词和清华NLP分词库（thulac），下面简单说下中文分词器的jieba分词，只写了切词和用户自定义词典两种方法，其他的功能后面再补充： 一、分词 1 import jieba 2 st 阅读全文