java千万级别数据生成文件思路和优化

     程序刚开始设计的时候说的是最多百万级别数据，最多50W数据生成到一个xml文件里面去,所以在做测试的时候自己也只是造了100W的数据并没有做过多数据量的测试,然后问题就来了....由于程序使用的局点数据量巨大，需要生成xml文件的客户资料接近千万级别的程度,而现场对程序的配置大约是100W条数据生成一个xml文件里面去，程序在这样的大数据量下面偶尔会有崩溃。最近抽空把这个问题处理了一下,在解决问题的过程中我把解决的步骤和方法记录了下来，正好和大家共享一下：

    一、如何把大数据生成xml文件

     1、小数据量的情况下    <  1W条数据

     2、大数据量生成一个xml文件(本程序采用的方法)

    二、如何测试性能和优化的

     1、手动排除

     2、手动排除没有解决，借助内存分析工具JProfile进行排除

     3、通过在JProfile对象查看对象的管理

     4、程序每次从数据库中查询3000条数据处理

     5、专门把批处理代码提取出来通过JProfile内存分析.最终问题定位完毕