LZ名約山炮

离线数仓（二）

摘要：第1章数仓分层 1.1 为什么要分层 1）数据仓库分层 ODS层：原始数据层，存放原始数据，直接加载原始日志、数据，数据保持原貌不做处理 DWD层：对ODS层数据进行清洗（去除空值、脏数据、超过极限范围的数据）、脱敏等，保存业务事实明细，一行信息代表一次业务行为，例如一次下单 DIM层：维度层，保阅读全文

posted @ 2021-06-09 19:50 LZ名約山炮阅读(539) 评论(0) 推荐(0)

离线数仓（一）

摘要：数据模拟 1.日志数据的生成 1）数据准备，下载地址：https://pan.baidu.com/s/1aaf2-Fuchi3v-0cJqLw4EQ 提取码：sbim 2）在/opt/module/下创建applog目录，将application.properties、application.yml 阅读全文

posted @ 2021-06-09 15:29 LZ名約山炮阅读(1064) 评论(0) 推荐(1)

Spark-SparkSQL

摘要：第1章 SparkSQL概述 1.1 SparkSQL是什么 1.2 Hive and SparkSQL SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具。 Hive是早期唯一运行在Hadoop上的SQL-on-Hadoop工具。但是Map 阅读全文

posted @ 2021-06-08 08:46 LZ名約山炮阅读(263) 评论(0) 推荐(0)

idea中创建文件时在文档注释中加入作者/时间信息

摘要：第一步：进入Idea 第二步：进入Settings /** * @作者：袁哥 * @时间：${DATE} ${TIME} */ 第三步：新建文件，设置成功第四步：设置文档注释快捷键（作用在方法上） /** * @作者: 袁哥 * @时间: $date$ $time$ */ 第五步：验证成功阅读全文

posted @ 2021-06-07 10:34 LZ名約山炮阅读(980) 评论(0) 推荐(0)

Spark-内核

摘要：一、前言 1.学习内核的目的 ①从宏观上了解Job（Spark on YARN）提交的流程。（画图） ②了解Job在提交之后，进行任务的划分，Stage的划分，任务的调度的过程！结合：宽依赖，窄依赖，Stage，task , job ③了解整个Job在执行期间Driver和Executor之间的阅读全文

posted @ 2021-06-07 09:00 LZ名約山炮阅读(119) 评论(0) 推荐(0)

Spark-SparkCore（二）

摘要：第3章数据读取与保存 Spark的数据读取及数据保存可以从两个维度来作区分：文件格式以及文件系统。文件格式分为：Text文件、Json文件、Csv文件、Sequence文件以及Object文件；文件系统分为：本地文件系统、HDFS以及数据库。 3.1 文件类数据读取与保存 3.1.1 Text 阅读全文

posted @ 2021-06-03 13:26 LZ名約山炮阅读(112) 评论(0) 推荐(0)

Idea中运行SparkCore程序报错问题解决

摘要：在运行程序打包过程中，出现如下错误： [ERROR] Command execution failed. org.apache.commons.exec.ExecuteException: Process exited with an error: 1 (Exit value: 1) at org. 阅读全文

posted @ 2021-06-03 10:07 LZ名約山炮阅读(614) 评论(0) 推荐(0)

Spark-SparkCore（一）

摘要：第1章 RDD概述 1.1 什么是RDD RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。（简单说就是一个抽象类） 1.1.1 RDD类比工厂阅读全文

posted @ 2021-06-01 22:54 LZ名約山炮阅读(151) 评论(0) 推荐(0)

Spark-入门

摘要：第1章 Spark概述 1.1 什么是Spark 回顾：Hadoop主要解决，海量数据的存储和海量数据的分析计算。 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 1.2 Hadoop与Spark历史 Hadoop的Yarn框架比Spark框架诞生的晚，所以Spark自己也设计了阅读全文

posted @ 2021-05-26 23:29 LZ名約山炮阅读(281) 评论(0) 推荐(0)

Scala（十一）--泛型、项目案例

摘要： 11.1 协变和逆变 1）语法 class MyList[+T]{ //协变 } class MyList[-T]{ //逆变 } class MyList[T]{//不变 } 2）说明协变：Son是Father的子类，则MyList[Son] 也作为MyList[Father]的“子类”。逆变阅读全文

posted @ 2021-05-25 18:23 LZ名約山炮阅读(192) 评论(0) 推荐(0)

公告