摘要：
yarn的诞生：hadoop1.x版本JobTracker的作用是资源管理和任务的调度，当存在多个计算框架时，比如说spark，如果两个计算框架都有着自己的资源管理模块，就会存在资源竞争，不便于管理。此时就需要一个公共的资源管理模块，这就产生了YARN. hadoop2.x上的mapreduce是基 阅读全文
posted @ 2018-11-12 17:29
黎小白
阅读(8030)
评论(0)
推荐(1)
摘要：
Hadoop 1.0存在的问题：单点故障和内存受限 （1）NameNode单点故障（NameNode只有一个，一旦宕机了，则数据就会丢失，虽然有配置SecondaryNameNode，但是SecondardyNameNode 合并元数据和日志文件需要时间的，所有还是会有部分数据会丢失） （2）Nam 阅读全文
posted @ 2018-11-11 16:23
黎小白
阅读(2838)
评论(2)
推荐(3)
摘要：
1-HBase的安装 HBase是什么？ HBase是Apache Hadoop中的一个子项目，Hbase依托于Hadoop的HDFS作为最基本存储基础单元，通过使用hadoop的DFS工具就可以看到这些这些数据 存储文件夹的结构,还可以通过Map/Reduce的框架(算法)对HBase进行操作，如 阅读全文
posted @ 2018-11-06 15:30
黎小白
阅读(969)
评论(0)
推荐(0)
摘要：
Hbase简介 HBase– Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群，海量数据的快速随机访问。 上图描述了Hadoop EcoSystem中的各层系统，其中HBase位于结构化存 阅读全文
posted @ 2018-11-06 11:26
黎小白
阅读(190)
评论(0)
推荐(0)
摘要：
1、MapReduce简介 2、MapReduce有那几个组成部分，各自的作用是什么 3、MapReduce工作流程 4、MapReduce的shuffle过程 5、MapReduce编程组件（应用到了那些类） 6、MapReduce有那些缺点，YARN是什么？ （1）MapReduce简介 Map 阅读全文
posted @ 2018-11-06 11:06
黎小白
阅读(549)
评论(0)
推荐(0)
摘要：
（1）modelAttribute的值是用于提交到后台的实体类对象名称 （2）form：select path的值要对应实体类的属性值 <form:form id="searchForm" modelAttribute="reportTask" action="${ctx}/reporttask/r 阅读全文
posted @ 2018-08-25 10:28
黎小白
阅读(973)
评论(0)
推荐(0)
摘要：
（1）函数申明（jsp页面声明） <%@ taglib prefix="fns" uri="/WEB-INF/tlds/fns.tld" %> （2）fns.tld文件 <?xml version="1.0" encoding="UTF-8" ?> <taglib xmlns="http://jav 阅读全文
posted @ 2018-08-25 09:56
黎小白
阅读(1226)
评论(0)
推荐(0)
摘要：
/**169服务器邦联95服务器，从169访问95库的数据，下面配置都是在169执行，配置时需要用管理员配置，两台服务器都是 **/ (1)先与数据库建立连接 db2 connect to InstanceName user userName using passWord (2)查看数据库管理器配置 阅读全文
posted @ 2018-08-10 16:55
黎小白
阅读(1484)
评论(1)
推荐(0)
摘要：
--修改时间戳： update sys_user t set t.login_date=to_timestamp('18-04-10 09:09:45.546000000','RR-MM-DD HH24:MI:SS:FF') where t.login_name='admin'; commit; - 阅读全文
posted @ 2018-08-07 16:15
黎小白
阅读(638)
评论(0)
推荐(0)
摘要：
增加用户：useradd -d /usr/username -m username 为用户增加密码：passwd username 新建工作组：groupadd groupname 将用户添加进工作组：usermod -G groupname username 删除用户：userdel userna 阅读全文
posted @ 2018-08-07 14:22
黎小白
阅读(119)
评论(0)
推荐(0)
浙公网安备 33010602011771号