摘要：
CASE表达式是SQL中的条件选择语句,用于根据条件选择相应的结果。它类似于其他编程语言中的switch-case语句。 CASE表达式的基本语法有两种: 1. 条件THEN结果: CASE WHEN condition1 THEN result1 WHEN condition2 THEN resu 阅读全文
posted @ 2023-07-14 15:50
BBBone
阅读(101)
评论(0)
推荐(0)
摘要：
一、cache和persisit的对比-rw-r--r--@ 1 hadoop staff 68M 5 17 07:04 access.logcache/persitence是 lazy的,延迟加载unpersitence是立即执行的@DeveloperApiclass StorageLevel private( private var _useDisk: Boolean, ... 阅读全文
posted @ 2019-06-27 15:35
BBBone
阅读(421)
评论(0)
推荐(0)
摘要：
https://github.com/xingsuio/scalaPra 阅读全文
posted @ 2019-06-27 15:17
BBBone
阅读(125)
评论(0)
推荐(0)
摘要：
静态分区:手动指定分区加载数据，就是常说的静态分区的使用。但是在日常工作中用的比较多的是动态分区。 创建:hive> create table order_mulit_partition( > order_number string, > event_time string > ) > PARTITIONED BY(event_month string, step str... 阅读全文
posted @ 2019-06-24 19:01
BBBone
阅读(518)
评论(0)
推荐(0)
摘要：
RDD five main propertiesMethodLocationInputOutputA list of partitionsgetPartitions?-[Partition]A function for computing each splitcompute?PartitionIterableA list of dependencies on other RDDgetDepend... 阅读全文
posted @ 2019-06-24 11:02
BBBone
阅读(213)
评论(0)
推荐(0)
摘要：
hadoop001: zk rm(zkfc线程) nmhadoop002: zk rm(zkfc线程) nmhadoop003: zk nmRMStateStore: 存储在ZK的/rmstore目录下ZKFC仅仅是线程大数据的数据是不能丢的,但是作业是可以挂的,挂了重启即可.因此YARN的架构比较轻量级,HDFS的架构相对来说,比较重量级别.小结:当我们RM进程启动... 阅读全文
posted @ 2019-06-24 11:00
BBBone
阅读(912)
评论(0)
推荐(0)
摘要：
为什么要用集群?企业里面,多台机器 伪分布式 每一个角色都是一个进程HDFS:NNSNNDNYARN:RMNM大数据所有组件, 都是主从架构 master-slaveHDFS读写请求都是先到NN节点,但是,HBase 读写请求不是经过master, 建表和删除表是需要经过masterNN节点挂了,就不能提供对外服务 (-put,-get)需要配置两个NN节点(实时的,任何时刻只有一台active... 阅读全文
posted @ 2019-06-24 10:59
BBBone
阅读(338)
评论(0)
推荐(0)
摘要：
core-site.xml fs.defaultFS hdfs://ruozeclusterg6 fs.trash.checkpoint.interval 0个路径中 --> hadoop.tmp.dir /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/tmp#hadoop.tmp.dir需要自己创建[hadoop@h... 阅读全文
posted @ 2019-06-24 10:56
BBBone
阅读(163)
评论(0)
推荐(0)
摘要：
shell角度API角度Zookeeper可单节点,可分布式作用: distributed coordination(分布式协调)同一时间只有一个对外提供服务,另外的就是standy.当active挂了,就想standy切过来即可,无感知.监控节点的状态信息,完全可以用过zk来实现安装配置:$ tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz -C ~/apps/... 阅读全文
posted @ 2019-06-24 10:56
BBBone
阅读(249)
评论(0)
推荐(0)
摘要：
官网kafka.apache.org集群部署消息中间键 --> 分布式流式平台 Kafka StreamingFlume: 1个进程包含三个角色 source channle sinkKakfa: 每个进程对应一个角色 producer broker consumer Flume --> Kafka --> Spark Streaming/Fink (场... 阅读全文
posted @ 2019-06-24 10:45
BBBone
阅读(214)
评论(0)
推荐(0)
浙公网安备 33010602011771号