BarryWang

摘要： 最近一个项目，需要操作近70亿数据进行统计分析。如果存入MySQL，很难读取如此大的数据，即使使用搜索引擎，也是非常慢。经过调研决定借助我们公司大数据平台结合Spark技术完成这么大数据量的统计分析。 为了后期方便开发人员开发，决定写了几个工具类，屏蔽对MySQL及Hive的操作代码，只需要关心业务 阅读全文

摘要： 前面一篇文章介绍大数据量导出实现： Java实现大批量数据导入导出(100W以上)　-（二）导出 这篇文章在Excel列较少时，按以上实际验证能很快实现生成。但如果列较多时用StringTemplate写入时会出现内存溢出。那么我的解决方案如下： 将数据列表分成多份，如果从数据库查询就是分页查询出多 阅读全文