摘要：1. hdfs dfs -count -q -v '/home/workspace/gxx/*' 2. hdfs dfs -text /home/mg_dc/lzo_logs/qn/logs/5300105/date=20180610/20180610.log.lzo | grep '2111561' | more 阅读全文

摘要：1.基本示例 取出top2 tmp = [('a', 1, 'a1'), ('a', 2, 'a2'), ('a', 3, 'a3'), ('b', 2, 'b2'), ('b', 3, 'b3'), ('c', 3, 'c3'),('c', 4, 'c4')] rdd_1 = sc.parallelize(tmp) rdd_2 = rdd_1.map(lambda x: 阅读全文

摘要：app.prod.log4j.prop SimpleApp.py test.sh SimpleApp.py test.sh 阅读全文

摘要：日志级别：NOTSET< DEBUG < INFO<WARNING<ERROR 优点：使用 logging.config.listen() 函数监听socket，可在运行过程中更新配置 缺点：通过源码控制日志配置较少（ 例如 子类化定制的过滤器或记录器） logging_config.ini 然后在 阅读全文