随笔分类 -  Spark

• 流式分析系统实现 之二
  摘要：Spark Streaming Mysql Window 继“流式分析系统实现之一”后采用Window函数对1分钟内的数据进行统计，虽然在一中也已说明但是并没有实践，所以在此篇文章中对Window进行介绍及操作同时把数据存储到Mysql数据库中，这样就可以查看每分钟的数据，以下代码只是模拟和展示，没 阅读全文
  posted @ 2018-09-17 15:53 曦晴嗨皮 阅读(341) 评论(0) 推荐(0)
• 流式分析系统实现 之一
  摘要：一、实验介绍 我们知道网站用户访问流量是不间断的，基于网站的访问日志，即 Web log 分析是典型的流式实时计算应用场景。比如百度统计，它可以做流量分析、来源分析、网站分析、转化分析。另外还有特定场景分析，比如安全分析，用来识别 CC 攻击、 SQL 注入分析、脱库等。这里我们简单实现一个类似于百 阅读全文
  posted @ 2018-09-17 15:49 曦晴嗨皮 阅读(243) 评论(0) 推荐(0)
• Spark升级--在CDH-5.15.1中添加spark2
  摘要：一、环境准备 jdk-1.8+scala-2.11.X+python-2.7 二、创建目录 mkdir -p /opt/cloudera/csd 修改权限 chown cloudera-scm:cloudera-scm /opt/cloudera/csd 获取csd(放到/opt/cloudera/ 阅读全文
  posted @ 2018-09-17 15:30 曦晴嗨皮 阅读(637) 评论(0) 推荐(0)
• Spark 基础之SQL 快速上手
  摘要：知识点 SQL 基本概念 SQL Context 的生成和使用 1.6 版本新API：Datasets 常用 Spark SQL 数学和统计函数 SQL 语句 Spark DataFrame 文件保存 实验步骤 Spark SQL 是Spark 中用于处理结构化数据的模块。它与基本的Spark RD 阅读全文
  posted @ 2018-09-17 15:22 曦晴嗨皮 阅读(956) 评论(0) 推荐(0)
• CDH Spark-shell启动报错
  摘要：Spark-shell启动报错 具体报错如下： 在CDH YARN 中修改以下两个配置： yarn.scheduler.maximum-allocation-mb 2048 yarn.nodemanager.resource.memory-mb 4096 然后重启集群 参考资料https://blo 阅读全文
  posted @ 2018-09-17 15:13 曦晴嗨皮 阅读(220) 评论(0) 推荐(0)
• Spark SQL例子
  摘要：综合案例分析 现有数据集 department.json与employee.json，以部门名称和员工性别为粒度，试计算每个部门分性别平均年龄与平均薪资。 department.json如下： {"id":1,"name":"Tech Department"} {"id":2,"name":"Fin 阅读全文
  posted @ 2018-09-17 15:13 曦晴嗨皮 阅读(262) 评论(0) 推荐(0)