摘要：首页 - 列表页 - 商品页 （300万访问量 - 100万访问量 - 50万访问量 ） 网站平台传入taskid和mysql查询出来的任务参数（日期和页面跳转流） 页面跳转流解释：网站平台传入3，5，7，9（页面id） ，spark计算的就是 3 - 5 的转化率 5 - 7的转化率 执行流程： 阅读全文

摘要：分配更多的资源 阅读全文

摘要：spark2.1 自定义累加器的使用 继承AccumulatorV2类，并复写它的所有方法 package spark import constant.Constant import org.apache.spark.util.AccumulatorV2 import util.getFieldFr 阅读全文

摘要：基础数据结构 user_visit_action 点击流数据 （hive表） date //日期：代表用户点击行为是在哪一天发生 采用时间戳好比较 user_id //代表这个点击行为是哪一个用户执行的 session_id //唯一标识了某个用户的一个访问session page_id //页面的 阅读全文

摘要：flume日志采集框架使用 本次学习使用的全部过程均不在集群上，均在本机环境，供学习参考 先决条件： flume-ng-1.6.0-cdh5.8.3.tar 去cloudrea下载flume框架，笔者是用cdh5.8.3的套餐 flume-ng-1.6.0-cdh5.8.3.tar 去cloudre 阅读全文

摘要：grep 'temporary password' /var/log/mysqld.log 这个会得到一个初始密码 然后执行 mysql_secure_installation utf8编码 修改/etc/my.cnf配置文件，在[mysqld]下添加编码配置，如下所示： 重新启动mysql服务，查 阅读全文