摘要：
1) 在VMware中新建虚拟机 2) 默认即可,不需要做任何修改，直接下一步 3) 选择稍后安装操作系统，然后下一步 4) 选择安装的操作系统为Linux,版本为CentOS7 64位 5) 虚拟机命名，可随意取， 安装位置最好选择固态硬盘(有固态的情况) 6) 按照物理机CPU实际情况，选择处理 阅读全文
posted @ 2021-08-25 17:01
碧水斜茶
阅读(142)
评论(0)
推荐(0)
摘要：
1.Hive的架构 2 Hive和数据库比较 Hive 和数据库除了拥有类似的查询语言，再无类似之处。 1）数据存储位置 Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中。 2）数据更新 Hive中不建议对数据的改写。而数据库中的数据通常是需要经常进行修改的， 3）执行延迟 阅读全文
posted @ 2021-08-25 15:58
碧水斜茶
阅读(149)
评论(0)
推荐(0)
摘要：
二分查找 例题.在有序表{7,14,18,21,23,29,31,35,38}中查找18. 【解析】 对于折半查找有序表里面其中的一个元素的话我们需要注意以下几点 >首先我们需要将表中的元素从小到大排序，由于题目中已经说了是有序表所以我们不需要将这些元素排序（切记这一步很重要） >由于是折半查找顾名 阅读全文
posted @ 2021-08-23 15:10
碧水斜茶
阅读(62)
评论(0)
推荐(0)
摘要：
1、解析URL字符串的： parse_url 用法： select parse_url("",[HOST,PATH,QUERY,REF,PROTOCOL,FILE,AUTHORITY,USERINFO]) 举例 ： select parse_url('http://facebook.com/path 阅读全文
posted @ 2021-08-20 17:59
碧水斜茶
阅读(164)
评论(0)
推荐(0)
摘要：
spark任务的提交流程（yarn） spark一般都是部署到yarn上使用的，所以就说y问的最多的就是arn的提交流程，两种模式最大的区别就是driver端的执行位置 Yarn Client模式 第一步，Driver端在任务提交的本地机上运行 第二步，Driver启动之后就会和ResourceMa 阅读全文
posted @ 2021-08-19 21:40
碧水斜茶
阅读(1410)
评论(0)
推荐(1)
摘要：
YARN调度策略大揭秘 YARN调度策略，即存在于resourceManager中, 主要为了进行资源的调度。一共有三大类调度器，分别是FIFO、 Capacity Scheduler和Fair Scheduler。 Hadoop2.9.2默认的资源调度器是Capacity Scheduler。 下 阅读全文
posted @ 2021-08-18 21:58
碧水斜茶
阅读(650)
评论(0)
推荐(0)
摘要：
默认的系统YUM源，需要连接国外apache网站，网速比较慢，可以修改关联的网络YUM源为国内镜像的网站，比如网易163,aliyun等 1) 安装wget, wget用来从指定的URL下载文件 [root@hadoop101 ~] yum install wget 2) 在/etc/yum.rep 阅读全文
posted @ 2021-08-17 19:35
碧水斜茶
阅读(95)
评论(0)
推荐(0)
摘要：
--1.学生表 Student(S,Sname,Sage,Ssex) --S 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别 --2.课程表 -- Course(C,Cname,T) --C --课程编号,Cname 课程名称,T 教师编号 --3.教师表 -- Teache 阅读全文
posted @ 2021-08-16 16:20
碧水斜茶
阅读(431)
评论(0)
推荐(0)
摘要：
一、mr的shuffle流程 说到mr的Shuffle，那么首先要明确shuffle属于哪个阶段。shuffle就是从Map端输出到Reduce输入的整个过程，这个过程广义上称之为shuffle。Shuffle横跨Map端和Reduce端，在Map端包括Spill过程，在Reduce端包括copy和 阅读全文
posted @ 2021-08-13 19:18
碧水斜茶
阅读(674)
评论(0)
推荐(0)
摘要：
集群部署 1）解压安装包 [user1@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/ 2）修改解压后的文件名称 [user1@hadoop102 module]$ mv kafka_2.11-2.4.1.tgz 阅读全文
posted @ 2021-08-13 10:08
碧水斜茶
阅读(57)
评论(0)
推荐(0)
浙公网安备 33010602011771号