一般, 我们在程序设计时, 对于一些业务, 会有可预见的大量数据, 此时需要我们在设计数据库表的时候就考虑到问题所在.
处理思路: 1.表分区 2.数据压缩存储
1.表分区
表分区的方式有很多种, 此处列举一种, 按天分区
上菜: (具体分区的种类和方式有机会详解)
CREATE TABLE TableName (
RESULTLISTID NUMBER,
STEPINDEX NUMBER,
VALUES0 VARCHAR2(4000),
VALUES1 VARCHAR2(4000),
VALUES2 VARCHAR2(4000),
VALUES3 VARCHAR2(4000),
DATE_ DATE
) PARTITION BY RANGE (date_) INTERVAL (NUMTODSINTERVAL(1, 'day'))
(partition part_t01 values less than(to_date('2021-12-10', 'yyyy-mm-dd')));
理解: 一般对于没有分区的表, 我们可以理解数据存储在同一个地方.
白话文: 数据是文字, 表是一本数, 文字存在书本上. 想要查询某个单词, 需要翻阅整本书.
如果表是按天分区, 就是说我们的数据是按天存储在不同的地方.
白话文: 数据是文字, 表是书架, 书架上的每一本书代表一个分区, 文字存在书本上, 所有的书本构成一个书架. 想要查询某个单词, 可以先
对书本的日期进行过滤, 找到对应日期的书本, 进行查找.
以上就是表分区的思想所在.
2. 数据压缩存储
如果我们每次操作都会向数据库表中增加几十,上百,上千行的数据, 那么我们可以先对数据进行压缩处理, 使得成百上千行的数据, 只需要存储为一行即可.
上菜:(拿需要存储的数据类型为float来说)
public static string[] CompressedData(float[] valueList)
{
List<string> result = new List<string>();
//1float=4byte
byte[] buffer = new byte[valueList.Length * 4];
for (int i = 0; i < valueList.Length; i++)
{
//1byte=8bit
byte[] b = BitConverter.GetBytes(valueList[i]);
buffer[i * 4] = b[0];
buffer[i * 4 + 1] = b[1];
buffer[i * 4 + 2] = b[2];
buffer[i * 4 + 3] = b[3];
}
//将byte转化为字符串
string compressResult = Convert.ToBase64String(buffer);
while (compressResult.Length > 4000)
{
string s = compressResult.Substring(0, 4000);
result.Add(s);
compressResult = compressResult.Substring(4000, compressResult.Length - 4000);
}
if (compressResult.Length <= 4000)
{
string s = compressResult.Substring(0, compressResult.Length);
result.Add(s);
}
return result.ToArray();
}
代码理解: CompressedData方法 将float数组数据转化为string数组数据（压缩）,我们把压缩后的string数组每个元素存在分区表对应的VALUES中
string数组中的每个元素都是一个varchar(4000)长度, 我们表分区的时候需要大概估算一次压缩最大的数据量从而来确定VALUES的个数.
这样我们就把众多数据压缩成一行数据了,我们可以根据日期等进行过滤查询, 可极大提高性能.
当然我们取数据的时候需要对压缩的数据进行解压,
上菜:
public static float[] AnalysisData(string[] txt)
{
List<float> vs = new List<float>();
StringBuilder sb = new StringBuilder();
foreach (var item in txt)
{
sb.Append(item);
}
//把字符串转为字节
byte[] buffer = Convert.FromBase64String(sb.ToString());
//将字节转化为float
for (int i = 0; i < buffer.Length; i += 4)
{
float f = BitConverter.ToSingle(buffer, i);
vs.Add(f);
}
return vs.ToArray();
}
原理就是压缩的逆向. 这样我们就可以获取到元数据了.
I had no time to choose, What I chose to do..
So go easy on me~~
