Python在简单数据统计中的应用--随笔记

　　日常工作中经常会将记录一些log信息，因为这些log信息数据量比较大，大概5/6万行，靠人工用眼睛分析就不太可靠了，所以想着用Python做一些简单的数据统计分析。Python里有一些容易使用的工具，比如numpy、matplotlib等等。代码处理比较简单，就没有写成文件，直接在IDLE中运行的。当然前提是环境搭好，需要的库都安装好。

　　log信息是txt格式的，且格式也是统一的，这是用这种方法的前提。如果格式不统一，此种方法就不适用了。那就需要先进行预处理了。

　　文件格式类似以下,且是单独成行的：

       

Cout:[56]
Exte:[589, 8345]
Cout:[61]
Exte:[590, 8459]
Cout:[49]
Exte:[600, 8701]
...
...

　　以下是处理过程：

>>> fd = open('E:\\xxx\\yyy\\zzz.txt', 'rt')
>>> cont1 = fd.readlines()
>>> fea_str1 = 'Cout:'
>>> fea_str2 = 'Exte:'

　　先把log文件打开，再把其内容读到一变量中；当然大家都知道这个变量其实是个列表(list)。列表比较容易用for语句进行遍历，也容易进行截取操作(其实就是所谓的“切片”吧，英语是slice)。下面再声明两个“特征”字符串，便于查找我们想要的数据。我们想要的数据，是类似56，61，49；589，590，600；8345，8459，8701这样的数据。

>>> cout1 = []
>>> exte_adc1 = []
>>> exte_vol1 = []

　　我们将要提取的结果也放到列表中，需要事先声明。

　　其实以下是提取过程的主要操作：

>>> for c in cont1:
            if c.find(fea_str1) != -1:
                    t = c.split(':')
                    cout1.append(int(t[1].strip('[').strip(']\n')))
            elif c.find(fea_str2) != -1:
                    t = c.split(':')
                    t = t[1].split(', ')
                    exte_adc1.append(int(t[0].strip('[')))
                    exte_vol1.append(int(t[1].strip(']\n')))
>>>

　　运行上述代码后，需要的数据就保存到了cout1、exte_adc1、exte_vol1中了。

　　可以进行简单的验证：

>>> len(cont1)
>>> len(cout1)
>>> len(exte_adc1)
>>> len(exte_vol1)

　　文件的总行数可以通过其他编辑器打开而知道，文件内容是行"Cout:"及"Exte:"交替出现的，可以知道它们出现的次数。

　　可以通过numpy及matplotlib进行一些统计。

>>> import numpy as np
>>> from matplotlib import pyplot as plt
>>> cout1_np = np.array(cout1)
>>> np.mean(cout1_np)
>>> np.std(cout1_np)
>>> plt.plot(cout1_np)
>>> plt.show()

　　上述代码计算了其平均值、标准差，看下它的曲线图。

　　上述只是进行简单的计算，没有考虑什么性能等。

　　最后不要忘记，关闭文件句柄。

>>> fd.close()