[Pandas] 04 - Efficient I/O

SQLITE3接口 to Arrary

——从数据库加载数据到dataframe/numpy中。

调动 SQLITE3数据库

import sqlite3 as sq3
query = 'CREATE TABLE numbs (Date date, No1 real, No2 real)'

con = sq3.connect(path + 'numbs.db')
con.execute(query)
con.commit()

commit 命令

COMMIT 命令是用于把事务调用的更改保存到数据库中的事务命令。

COMMIT 命令把自上次 COMMIT 或 ROLLBACK 命令以来的所有事务保存到数据库

 

返回值处理

返回所有值，就用 fetchall()。

con.execute('SELECT * FROM numbs').fetchmany(10)

pointer = con.execute('SELECT * FROM numbs')
for i in range(3):
    print(pointer.fetchone())


Output:
-------------------------------------------------
('2017-11-18 11:18:51.443295', 0.12, 7.3)
('2017-11-18 11:18:51.466328', 0.9791, -0.01914)
('2017-11-18 11:18:51.466580', -0.88736, 0.19104)

 

保存到NumPy

第一步、通过初始化直接格式变换即可。

query = 'SELECT * FROM numbers WHERE No1 > 0 AND No2 < 0'

res = np.array( con.execute(query).fetchall() ).round(3)

第二步、可视化数据 by resampling，也就是少取一些点。

res = res[::100]  # every 100th result

import matplotlib.pyplot as plt
%matplotlib inline

plt.plot(res[:, 0], res[:, 1], 'ro')

plt.grid(True); 
plt.xlim(-0.5, 4.5); 
plt.ylim(-4.5, 0.5)
# tag: scatter_query
# title: Plot of the query result
# size: 60

 

 

 

SQLITE3接口 to DataFrame

读取整个表

一张表通常内存可以搞定，全部读取也不是避讳的事情。

import sqlite3 as sq3

filename = path + 'numbs'
con = sq3.Connection(filename + '.db')    

%time data = pd.read_sql('SELECT * FROM numbers', con)
data.head()

 

表操作

其实已经演变为 ndarray操作。

“与” 条件

%time data[(data['No1'] > 0) & (data['No2'] < 0)].head()

“或” 条件

%%time
res = data[['No1', 'No2']][((data['No1'] > 0.5) | (data['No1'] < -0.5))
                     & ((data['No2'] < -1) | (data['No2'] > 1))]

 

 

 

PyTable的快速I/O

HDF5数据库/文件标准。

"无压缩" 创建一个大表

表定义

import numpy as np
import tables as tb
import datetime as dt
import matplotlib.pyplot as plt
%matplotlib inline

filename = './data/tab.h5'
h5 = tb.open_file(filename, 'w') 

# 有几行：多搞几行，弄一个大表
rows = 2000000

# 有几列
row_des = {
    'Date': tb.StringCol(26, pos=1),
    'No1': tb.IntCol(pos=2),
    'No2': tb.IntCol(pos=3),
    'No3': tb.Float64Col(pos=4),
    'No4': tb.Float64Col(pos=5)
}

 

创建表

filters = tb.Filters(complevel=0)  # no compression

tab = h5.create_table('/', 'ints_floats', row_des,
                      title='Integers and Floats',
                      expectedrows=rows, filters=filters)

  

新增数据

此时，表还在内存中，向这个表内添加数据。

(1) 一个关键的列表形式。

pointer = tab.row

 

(2) 生成随机数填充。

ran_int = np.random.randint(0, 10000, size=(rows, 2))
ran_flo = np.random.standard_normal((rows, 2)).round(5)

 

(3) 赋值给内存中的表。

传统策略，使用了繁琐的循环。

%%time
for i in range(rows):
    pointer['Date'] = dt.datetime.now()
    pointer['No1']  = ran_int[i, 0]
    pointer['No2']  = ran_int[i, 1] 
    pointer['No3']  = ran_flo[i, 0]
    pointer['No4']  = ran_flo[i, 1] 
    pointer.append()
      # this appends the data and
      # moves the pointer one row forward

tab.flush() 　　# 相当于SQLITE3中的commit命令

矩阵策略，省掉了循环。

%%time
sarray['Date'] = dt.datetime.now()
sarray['No1'] = ran_int[:, 0]
sarray['No2'] = ran_int[:, 1]
sarray['No3'] = ran_flo[:, 0]
sarray['No4'] = ran_flo[:, 1]

 

 

“压缩” 创建一个大表 

创建压缩表

因rows中其实已经有了数据，所以创建的同时就同步写入文件。

filename = './data/tab.h5c'
h5c = tb.open_file(filename, 'w') 
filters = tb.Filters(complevel=4, complib='blosc')

tabc = h5c.create_table('/', 'ints_floats', sarray,
                        title='Integers and Floats',
                      expectedrows=rows, filters=filters)

 

dnarray读取

读取内存数据，返回 numpy.ndarray。

%time arr_com = tabc.read()
h5c.close()

 

 

  

内存外计算

比如，处理一个若干GB的数组。

创建一个外存数组 EArray

filename = './data/array.h5'
h5 = tb.open_file(filename, 'w') 

n = 100
ear = h5.create_earray(h5.root, 'ear',
                      atom=tb.Float64Atom(),
                      shape=(0, n))

%%time
rand = np.random.standard_normal((n, n))
for i in range(750):
    ear.append(rand)
ear.flush()

ear.size_on_disk　　# 查看一下，这个E Array是个大数组

 

 

创建一个对应的 EArray

第一步、设置外存 workspace。

out = h5.create_earray(h5.root, 'out', atom=tb.Float64Atom(), shape=(0, n))

  

第二步、通过外存来计算ear大数组。 

expr = tb.Expr('3 * sin(ear) + sqrt(abs(ear))')　　　　# 这里是 import tables as tb 中的 Expr，而不是import numexpr as ne
  # the numerical expression as a string object

expr.set_output(out, append_mode=True)
  # target to store results is disk-based array

%time expr.eval()
# evaluation of the numerical expression
# and storage of results in disk-based array

 

第三步、从外存读入内存，传的自然是“变量“，而非”workspace"。

%time imarray = ear.read()
  # read whole array into memory

 　　

End.