随笔分类 -  python

摘要：前言：项目中有个需求需要对产品的日志处理，按照产品中日志的某些字段，对日志进行再次划分。比如产品的日志中含有字段id,tag=1,现在需要把tag是基数的放到一个文件中，tag是偶数的放入一个文件中。这就涉及到多个文件的读写操作，一个文件一个文件读取写入那时间太久了，公司配备的单机，跑了半个多小时， 阅读全文

摘要：学习使用python已经有四个月了，subprocess这个执行linux中shell命令的函数已经用过无数次了，踩到的坑也有几个，写出来分享一下，欢迎大家拍砖头。1.shell命令中若有管道，一定要多次调用Poen，p1的输出当作p2的输入。 例如：shell命令 hdfs dfs -cat t... 阅读全文