python多进程那点事儿【multiprocessing库】
摘要:前言:项目中有个需求需要对产品的日志处理,按照产品中日志的某些字段,对日志进行再次划分。比如产品的日志中含有字段id,tag=1,现在需要把tag是基数的放到一个文件中,tag是偶数的放入一个文件中。这就涉及到多个文件的读写操作,一个文件一个文件读取写入那时间太久了,公司配备的单机,跑了半个多小时,
阅读全文
posted @
2016-01-29 14:04
晓O(∩_∩)O~
阅读(4488)
推荐(1)
使用subprocess.Poen注意事项
摘要:学习使用python已经有四个月了,subprocess这个执行linux中shell命令的函数已经用过无数次了,踩到的坑也有几个,写出来分享一下,欢迎大家拍砖头。1.shell命令中若有管道,一定要多次调用Poen,p1的输出当作p2的输入。 例如:shell命令 hdfs dfs -cat t...
阅读全文
posted @
2015-11-09 18:33
晓O(∩_∩)O~
阅读(5077)
推荐(0)