随笔分类 - 大数据
摘要：业务过程 维度 实际创建了六张维度表 其他(如下)做成维度退化到事实表 设计维度表的规程 确定维度表 根据业务总线矩阵 确定主维表和相关维表 DIM层.md
阅读全文
posted @ 2022-10-04 00:31
deepJL
摘要：操作 指令 启动docker systemctl start docker 停止docker systemctl stop docker 重启docker systemctl restart docker 查看docker状态 systemctl status docker 开机启动 systemc
阅读全文
posted @ 2022-03-02 12:42
deepJL
摘要：①select * from tableA limit a,b; -- 跳过前a条数据,读取后b条数据; ②select * from tableA limit a; -- 读取前a条数据; ③select * from tableA limit a offset b; -- 跳过前b条数据,读取后
阅读全文
posted @ 2021-08-16 16:56
deepJL
摘要：Windows 下载安装 netcat命令 netcat(nc)下载 netcat(nc)下载地址： 请求 点击 netcat 1.12 链接进行下载 netcat(nc)安装 解压netcat-win32-1.12文件夹 配置环境变量 在Path里添加netcat路径： 测试 打开两个cmd窗口
阅读全文
posted @ 2021-07-27 15:38
deepJL
摘要：1、查询topic，进入kafka目录： bin/kafka-topics.sh --list --zookeeper localhost:2181 2、查询topic内容： bin/kafka-console-consumer.sh --bootstrap-server localhost:909
阅读全文
posted @ 2021-07-19 16:56
deepJL
摘要：
阅读全文
posted @ 2021-07-19 01:15
deepJL
摘要：在确保kafka、zookeeper 版本正确，并且启动正常的情况下， 可以自己看看配置的zookeeper路径下有没有kafka的元数据。 我遇到的原因是 kafka的server.properties 配置文件写的 127.0.0.1:2181/kafka 然后使用命令的时候写了 –zookee
阅读全文
posted @ 2021-07-19 01:05
deepJL
摘要： 
阅读全文
posted @ 2021-07-18 23:15
deepJL
摘要：\s表示 空格,回车,换行等空白符, +号表示一个或多个的意思,所以... split(" +") 按空格进行拆分（也就是说只有按空格键流出来的空白才会是拆分的一句）
阅读全文
posted @ 2021-07-11 16:19
deepJL
摘要：reduce(binary_function) reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。 val c = sc.parallelize(1 to 10)
阅读全文
posted @ 2021-07-11 09:48
deepJL
摘要：#map与flatMap区别 map: object keysTest{ def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setAppName("keysTest").setMaster("l
阅读全文
posted @ 2021-07-11 09:41
deepJL
摘要：#一眼看懂map和flatmap的区别 map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。 flatMap的操作是将函数应用于rdd之中的每一个元素，将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。 Spark 中 map函数会对每一条输入进行指定的操作
阅读全文
posted @ 2021-07-07 19:24
deepJL
摘要：类型 泛型 类型是约束外部的数据 泛型在约束内部的数据 java的基本数据类型 : byte short char int long float double boolean 引用数据类型: scala : AnyVal 任意的值类型 AnyRef 任意的引用类型
阅读全文
posted @ 2021-05-27 23:21
deepJL
摘要：今日授课目标 能够在Centos7操作系统中安装Docker 能够启动、停止、重启docker服务 能够搜索镜像、查看镜像、拉取镜像、删除镜像 能够查看、启动、停止容器 能够理解数据卷的概念及配置数据卷 能够基于Docker部署mysql、tomcat、redis 能够备份docker中的容器 能够
阅读全文
posted @ 2021-04-17 20:25
deepJL
浙公网安备 33010602011771号