摘要： Scala概述 Scala介绍 https://www.scala-lang.org/ Scala是一门综合了面向对象和函数式编程的语言, 运行在JVM之上, 能够和Java语言互操作 Scala的特点 语法简洁 开发速度快/运行速度快 兼容Java 很多大数据框架的源码或编程接口都支持Scala 阅读全文

摘要： 今日内容:1) JAVA API 操作 ES 集群2) ES的架构原理3) ES的 sql操作4) Beats基本概念及其使用5) logstash基本概念及其使用6) kibana基本概念及其使用 1) JAVA API 操作 ES 集群 : 根据关键词查询 分页查询(浅分页 和 深分页) 高亮展 阅读全文

摘要： 报名用户主题看板 1. 学习目标 了解报名用户主题看板需求 能够使用Hive进行并行操作 掌握Hive常用的判断函数 掌握Hive小文件合并的用法 掌握矢量化查询的用法 掌握关联优化器的用法 掌握读取零拷贝的用法 能够编写报名用户指标的DWD清洗转换SQL 掌握表连接查询时数据倾斜的优化方法 掌握分 阅读全文

摘要： 今日内容: 1) 分桶表的相关优化 -- 理解2) 建模分层操作 -- 需要操作3) 全量流程的统计分析: -- 需求操作 (尝试自己实现) 数据的采集, 数据的清洗转换, 数据维度退化, 数据的统计分析4) 增量流程的: 如何对拉链表实现增量处理 -- 理解 1.意向客户主题看板_需求说明: 需求 阅读全文

摘要： 今日内容:1) 分桶表的相关优化 -- 理解2) 建模分层操作 -- 需要操作3) 全量流程的统计分析: -- 需求操作 (尝试自己实现) 数据的采集, 数据的清洗转换, 数据维度退化, 数据的统计分析4) 增量流程的: 如何对拉链表实现增量处理 -- 理解 1.意向客户主题看板_需求说明: 需求一 阅读全文

摘要： create_databaseAndTable.sql -- 1 建立ODS层库:CREATE DATABASE IF NOT EXISTS `itcast_ods`; -- 2 在ODS层库中, 构建两张ODS的事实表-- 2.1: 构建访问咨询表--写入时压缩生效 (必须开启压缩生效, 否则后续 阅读全文

摘要： 今日内容:1) Git基本介绍2) Git安装操作3) 如何使用Git管理版本库操作4) 远程仓库: 码云5) 分支管理6) 在IDEA中如何git 一上午的时间7) 主题一: 访问咨询主题看板 7.1: 需求说明 : 将调研需求 转换为 开发需求 -- 相当重要 7.2: 建模分析 非常重要 7. 阅读全文

摘要： 1）首先下载Git --> 传送门 https://git-scm.com/downloads Git官网 可以直接下载最新版的 （2）安装git 双击运行安装包，一直next就行了 二 ：注册码云账号 滴 ，传送门 ：https://gitee.com/signup 一般用邮箱注册，这里也不多讲 阅读全文

摘要： >.ClouderaManager功能 1.1>.管理监控集群主机（主要监控硬件和软件的信息）； 1.2>.同一管理配置（主要是针对服务，比如hdfs，hbase等等）； 1.3>.管理维护Hadoop平台系统； 2>.ClouderaManager的一些常见名词 2.1>.主机-host 2.2> 阅读全文

摘要： 问题1 错误提示：cloudera-scm-agent 已死，但 pid 文件仍存解决办法： [root@node1 ~]# cd /var/run/ [root@node1 run]# rm -rf cloudera-scm-agent.pid 1 2 问题2 错误提示： error: No so 阅读全文