03 2018 档案

03.spark rdd topN
摘要：1.基本示例 取出top2 tmp = [('a', 1, 'a1'), ('a', 2, 'a2'), ('a', 3, 'a3'), ('b', 2, 'b2'), ('b', 3, 'b3'), ('c', 3, 'c3'),('c', 4, 'c4')] rdd_1 = sc.parallelize(tmp) rdd_2 = rdd_1.map(lambda x: 阅读全文
posted @ 2018-03-19 15:46 桃源仙居 阅读(347) 评论(0) 推荐(0)
12.python文件目录
摘要：curdir=os.path.dirname(os.path.dirname(os.path.abspath(__file__))) curdir=os.path.dirname(os.path.abspath(__file__)) curdir=os.path.join(curdir, 'test 阅读全文
posted @ 2018-03-09 17:17 桃源仙居 阅读(49) 评论(0) 推荐(0)
02.spark start
摘要：app.prod.log4j.prop SimpleApp.py test.sh SimpleApp.py test.sh 阅读全文
posted @ 2018-03-01 21:38 桃源仙居 阅读(184) 评论(0) 推荐(0)
01.python logging
摘要：日志级别：NOTSET< DEBUG < INFO<WARNING<ERROR 优点：使用 logging.config.listen() 函数监听socket，可在运行过程中更新配置 缺点：通过源码控制日志配置较少（ 例如 子类化定制的过滤器或记录器） logging_config.ini 然后在 阅读全文
posted @ 2018-03-01 17:29 桃源仙居 阅读(111) 评论(0) 推荐(0)