大数据量处理模式

【数据库】
建视图、建索引来优化查询
用分页查询的存储过程
游标。。。
异步?
　


【Ajax大数据量处理(分页思维)】思路如下：

　　将大数据量数据进行分割返回，例如需要返回100条数据，我们可以通过10次请求来进行返回数据。每次返回数据的时候其中包括数量的总行数、返回当前数据的位置、此次返回数据的数量。

例如：{TotalRowsCount:100,CurrentRowsIndex:60,CurrentRowsCount:10}。

代表总行数：100，当前行数已经返回到：60，此次返回数量10。


【程序代码】


【算法方案】

A.分布式处理 mapreduce

适用范围：数据量大，但是数据种类小可以放入内存
 
基本原理及要点：将数据交给不同的机器去处理，数据划分，结果归约。



【总结】时间与空间的转换
0.算法        [100%]  (树 哈希)
1.预加载      [空间]  (缓存,堆)
2.预排列      [时间]  (索引)
3.分割=>归并  [t=T/N] (DB分页,Ajax分批,发布式,多线程,逻辑分类:多数据文件)


【成本开销】找瓶颈
1.IO资源
2.网路资源
3.算法冗余