摘要： 1、环境： 1.1、cassandra 集群： 用于日志数据存储 1.2、spark集群： 用户后期的实时计算及批处理 1.3、codis 集群： 用于缓存一些基本数据如IP归属地，IP经纬度等，当日志上来，对日志进行补全 1.4、postgres数据库： 1、用于存储维度表 2、存储统计结果 1. 阅读全文

摘要： HDP 各个组件的源码（含历史各个版本） 分支 组件 标签 最后发版时间 地址 hadoop 2256 2020-12-21 17:44 https://gitee.com/piaolingzxh/hdsp-hadoop-release hive 2257 2020-12-21 17:44 http 阅读全文

摘要： 1、环境说明： HDP 2.4 V3 sandbox hue 4.0.0 2、hue 4.0.0 编译及安装 地址：https://github.com/cloudera/hue/releases/tag/release-4.1.0（也许是发版这弄错了吧，连接是4.1.0，内容版本是4.0.0） 2 阅读全文

摘要： 电子商城如果对大数据应用好的话，可以在很大程度上提升业绩。以下就让我们看看，电子商城可以怎么玩销售数据 业务信息 首先，简单了解下电子商城，对于大多数电子商城，一般都有如下业务信息： 1：产品信息 产品大类、产品小类、产品 2：销售信息 订单号、产品、购买数量、购买时间 3：用户 用户名、手机号、收 阅读全文

摘要： 1、首先将GEOIP放到服务器上，如，/opt/db/geo/GeoLite2-City.mmdb 2、新建scala sbt工程，测试是否可以顺利解析 将该程序打包，放到服务器上，执行scala -cp ./scala_sbt-assembly-1.0.jar test，解析结果如下 countr 阅读全文

摘要： 说明：个人原创，转载请说明出处 http://www.cnblogs.com/piaolingzxh/p/5656879.html 未完待续 未完待续 阅读全文

摘要： 说明：个人原创，转载请说明出处 http://www.cnblogs.com/piaolingzxh/p/5656876.html 未完待续 阅读全文

摘要： 说明：个人原创，转载请说明出处 http://www.cnblogs.com/piaolingzxh/p/5634577.html 未完待续 阅读全文

摘要： 直接上代码，详见注释 阅读全文

摘要： spark 累加历史主要用到了窗口函数，而进行全部统计，则需要用到rollup函数 1 应用场景： 1、我们需要统计用户的总使用时长（累加历史） 2、前台展现页面需要对多个维度进行查询，如：产品、地区等等 3、需要展现的表格头如： 产品、2015-04、2015-05、2015-06 2 原始数据： 阅读全文

摘要： 直接上干货 commons-cli http://www.ibm.com/developerworks/cn/java/j-lo-commonscli/ guava http://www.cnblogs.com/peida/tag/Guava%E5%AD%A6%E4%B9%A0%E7%AC%94%E 阅读全文