摘要：首先新建一个maven项目，添加相关依赖： 使用poi导出excel依赖： 添加csv相关工具类依赖： 2、构建执行代码 （1）、数据导出为excel文件： （2）、导出为csv 阅读全文

摘要：Spark自定义排序与分区 前言： 随着信息时代的不断发展，数据成了时代主题，今天的我们徜徉在数据的海洋中；由于数据的爆炸式增长，各种数据计算引擎如雨后春笋般冲击着这个时代。作为时下最主流的计算引擎之一 Spark也是从各方面向时代展示自己的强大能力。Spark无论是在数据处理还是数据分析、挖掘方面 阅读全文

摘要：在很多场景下我们可能都会遇到根据用户某信息获取其位置信息的徐求，比较常见的可能就是根据ip或电话号码来计算了。这里介绍以ip地址来计算归属地，以具体需求来说明。使用scala语言编写spark程序来实现。 需求：根据访问日志的ip地址计算用户归属地信息，并且按其归属地分类统计访问量。 （1）、获取i 阅读全文