随笔分类 -  python

pyspark 日期格式
摘要：1. 获取当前日期 3. 日期格式转换 123454. 字符转日期 # 2.带时间的日期 5. 获取日期中的年月日 6. 获取时分秒 7. 获取日期对应的季度 8. 日期加减 9. 月份加减 10. 日期差,月份差 11. 计算下一个日子的日期 12. 本月的最后一个日期 阅读全文
posted @ 2018-12-07 14:19 夕阳下的无名草 阅读(3308) 评论(0) 推荐(0)
RDD的基本命令
摘要：1 创建RDD 2 单RDD转换 (1) MAP (2) filter (3) distinct (4) randomSplit (5) groupby 3 多个RDD转换运算 并集union intRDD1.union(intRDD2).union(intRDD3).collect() [3, 1 阅读全文
posted @ 2018-09-05 17:26 夕阳下的无名草 阅读(1021) 评论(0) 推荐(0)
python 数据类型
摘要：1 isinstance(object, class-or-type-or-tuple) ->bool 内置函数isinstance有两个参数，第一个参数是待检测的对象，第二个参数是对象类型，可以是单个类型，也可以是元组，返回的bool类型 如果待检测对象属于第二个参数，则返回True；否则，返回F 阅读全文
posted @ 2018-09-05 10:21 夕阳下的无名草 阅读(174) 评论(0) 推荐(0)
python文件操作
摘要：1 文件的基本操作 2 创建文件夹 3 获取当前目录 4 改变默认目录 5获取目录列表 6 删除文件夹 阅读全文
posted @ 2018-07-25 15:42 夕阳下的无名草 阅读(233) 评论(0) 推荐(0)
Python之xlsx文件与csv文件相互转换
摘要：1 xlsx文件转csv文件 2 使用第三方库pandas将xlsx文件转csv文件 3 csv文件转换成xlsx文件 4 使用pandas将csv文件转成xlsx文件 阅读全文
posted @ 2018-07-20 09:09 夕阳下的无名草 阅读(23052) 评论(1) 推荐(0)
ValueError: Some of types cannot be determined by the first 100 rows, please try again with sampling
摘要：ValueError: Some of types cannot be determined by the first 100 rows, please try again with sampling 在spark中试图将RDD转换成DataFrame时，有时会提示ValueError: Some 阅读全文
posted @ 2018-07-11 19:19 夕阳下的无名草 阅读(902) 评论(0) 推荐(0)
python
摘要：Python包含以下函数: list方法 python的高级特性切片&截取 加-（负号）表示取倒数第几个 每隔整数个元素取一个 list1[::2] 结果 [1, 10, 5, 7] 迭代（直接在对象上） 列表生成器 加判断语句 [x for x in xrange(1,11) if x % 2 = 阅读全文
posted @ 2018-07-06 08:15 夕阳下的无名草 阅读(219) 评论(0) 推荐(0)
python操作dataFrame
摘要：python数据分析工具pandas中DataFrame和Series作为主要的数据结构. 本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数。 1）查看DataFrame数据及属性 2）使用DataFrame选择数据: 3）使用DataFrame重置数据: 4）使用Dat 阅读全文
posted @ 2018-07-06 07:25 夕阳下的无名草 阅读(7485) 评论(0) 推荐(0)
python基础语法
摘要：1 变量的类型 (1) Numbers(数字) int long float complex(复数) (2) 布尔类型 True False (3) String 字符串 (4) List 列表 Tuple 元祖 Dictionary 字典 2 输出 结果是： 我今年10岁 我的姓名是xiaohua 阅读全文
posted @ 2018-06-04 23:23 夕阳下的无名草 阅读(221) 评论(0) 推荐(0)