一次系统性能优化笔记

项目背景：

国有大型电信企业的一个短信增值项目，目前要求日处理数据量20万，以后处理量在100以上。

目前状况是：日处理极限为5万左右。在短信峰值时，由于数据堆压数据运行变慢。

 

第一次白盒代码分析

1 ,根据压力测试中数据连接过多问题进行分析

 问题原因：

     对运行的各个子项目没有启动Oracle连接池

重构方式：

对运行的各个子项目进行数据连接池，和连接数限制。

 

 2 Coding检查：

 程序中数据访问层使用代码锁保证数据完整性。

 其次程序中一个事物实现是通过代码逐个执行Sql语句

 

现象后果：

 并发访问效率低下

 应用服务器和数据库服务不断的进行IO读写

 

重构方式：

 存储过程完成完整事务，数据库表锁定代替代码锁定。

 

3 分析数据库的业务操作SQl运行效率

 问题：

   对常用的排序的表的字段没有进行索引。对于数据库量大的表操作，索引相当重要。

重构方式：

 对常用的排序字段进行索引。

 

4 执行查询语句，剔除Like 查询和子查询

 

 

 第二次 压力测试

 1 测试结果发现测试用户频繁读取某张业务表，处理业务。

 重构方式：

 用应用服务器的内存空间去换用户访问时间

 具体的做法为;

 在后台起一个缓存，把数据库中的业务表预先读取到缓存中，这样用户直接从缓存中读取业务数据，而避免了频繁访问数据库的业务表。

 

 2 压力测试问题：查询报表业务中，添加新操作日志记录时间，查询日志信息时间过长。

 

 原因：业务操作日志表过大。目前每次操作的日志表每天的增量在10万左右

 

重构方式：

 对日志操作表进行分表，一张表：放当天日志操作信息

                       另外一张表：放当天以前的日志操作信息。

 日志查询只提供当天以前的日志查询业务，不支持当前的日志查询。

 

对常用的日志统计信息，进行定时运算并保存对应的统计信息。

这样日志统计时，不需要实时数据库运算统计。