Cloudera-Manager修改集群的IP
摘要:1、业务需求说明:由于公司网络进行了整改,随之而来的就是对应的ip网段发生了变化,其中我的hadoop的集群各主机的ip也相应的发生了改变,因此需要对各主机进行修改ip。2、具体操作: 首先停止cdh各组件的服务,修改各主机的ip。修改完后,本以为完事儿了,启动Cloudera Managemen...
阅读全文
Java中的HashSet和TreeSet
摘要:1:Set集合(理解) (1)Set集合的特点 无序,唯一 (2)HashSet集合(掌握) A:底层数据结构是哈希表(是一个元素为链表的数组) B:哈希表底层依赖两个方法:hashCode()和equals() 执行顺序: 首先比较哈希值是否相同 相同:继续执行equals(...
阅读全文
Java中的泛型
摘要:1:泛型(掌握) (1)泛型概述 是一种把明确类型的工作推迟到创建对象或者调用方法的时候才去明确的特殊的类型。 (2)格式: 注意:该数据类型只能是引用类型。 (3)好处: A:把运行时期的问题提前到了编译期间 B:避免了强制类型转换 ...
阅读全文
java中Collection类及其子类
摘要:1:对象数组(掌握) (1)数组既可以存储基本数据类型,也可以存储引用类型。它存储引用类型的时候的数组就叫对象数组。2:集合(Collection)(掌握) (1)集合的由来? 我们学习的是Java -- 面向对象 -- 操作很多对象 -- 存储 -- 容器(数组和StringBuffer...
阅读全文
Java中正则表达式及其常用类Math、Calendar、Date、BigDecimal、BigInterger、System、Rondom的使用
摘要:1:正则表达式(理解) (1)就是符合一定规则的字符串 (2)常见规则 A:字符 x 字符 x。举例:'a'表示字符a \\ 反斜线字符。 \n 新行(换行)符 ('\u000A') \r 回车符 ('\u000D') B:字符类 [abc] a、b 或 c(简单类)...
阅读全文
Java中Stringbuffer、Arrays、Interger、Character类的特性
摘要:1:StringBuffer(掌握) (1)用字符串做拼接,比较耗时并且也耗内存,而这种拼接操作又是比较常见的,为了解决这个问题,Java就提供了 一个字符串缓冲区类。StringBuffer供我们使用。 (2)StringBuffer的构造方法 A:StringBuffer() B:St...
阅读全文
Oracle数据库高效sql语句的整理
摘要:业务需求说明:由于之前公司后台APP端有一个document表,该表中包含了所有的信息,新的需求就是通过该表创建出一个新的用户表(usertable)和一个档案表(document,该表只保留原document的部分字段)。ps:原document表的数据有25万条的数据,因此在处理的时候,需要考虑...
阅读全文
Win7下通过eclipse远程连接CDH集群来执行相应的程序以及错误说明
摘要:最近尝试这用用eclipse连接CDH的集群,由于之前尝试过很多次都没连上,有一次发现Cloudera Manager是将连接的端口修改了,所以才导致连接不上CDH的集群,之前Apache hadoop采用的端口是9000和9001,而Cloudera Manager采用的端口是8020端口,于...
阅读全文
Java中的Scanner类和String类
摘要:1:Scanner的使用(了解) (1)在JDK5以后出现的用于键盘录入数据的类。 (2)构造方法: A:讲解了System.in这个东西。 它其实是标准的输入流,对应于键盘录入 B:构造方法 InputStream is = System.in; Scanner(InputStre...
阅读全文
java的eclipse操作和常用类Object的使用
摘要:1、eclipse的快捷键:(1)alt + / 内容辅助。 如:main+alt + / 会出现完整的main方法。 syso+alt+ / 会输出。 如编写某个方法时,只需写入方法名 + alt+/ 就会自动生成相应的方法。(2)ctrl+shift+f 代码格式化(3)ctrl+...
阅读全文
如何利用Cloudera Manager来手动安装parcel包
摘要:1、问题的描述: 当你利用Cloudera Manager部署了CDH的集群后,也许随着你的业务需求,你需要对你的就去哪做一些优化,或者扩展之类的,这个时候你可能需要下载安装一些组件。例如,我最近在阅读Cloudera 官方文档的是,看到有一节的内容说到Performance Management...
阅读全文
java.io.IOException: Too many open files
摘要:1、描述: 每日一样,例行打开hadoop集群的cloudera manager的管理界面。发现出现了多个bad health的服务。那么出现的这个问题就是查看该服务运行的日志,对应的该服务当中,会包含相应的角色,其中,查看日志的时候可以看每一个角色的运行日志。通过查看日志,发现HBase出现了j...
阅读全文
java中的包以及内部类的介绍
摘要:1:形式参数和返回值的问题(理解) (1)形式参数: 类名:需要该类的对象 抽象类名:需要该类的子类对象 接口名:需要该接口的实现类对象 (2)返回值类型: 类名:返回的是该类的对象 抽象类名:返回的是该类的子类对象 接口名:返回的是该接口的实现类的对象 (3)链式编程 对象.方法1(...
阅读全文
HDFS中的checkpoint( 检查点 )的问题
摘要:1、问题的描述由于某种原因,需要在原来已经部署了Cloudera CDH集群上重新部署,重新部署之后,启动集群,由于Cloudera Manager 会默认设置dfs.namenode.checkpoint.period和dfs.namenode.checkpoint.txns分别是1个小时和100...
阅读全文
HDFS中Java的API使用测试
摘要:import java.io.IOException;import java.util.Arrays;import java.util.Date;import java.util.Scanner;import org.apache.hadoop.conf.Configuration;import o...
阅读全文
利用ClouderaManager启动HBase时,出现 master.TableNamespaceManager: Namespace table not found. Creating...
摘要:1、错误描述: 出现上述这个错误的原因是我之前已经安装了Cloudera Manager中的CDH,其中添加了所有的服务,当然也包含HBase。然后重新安装的时候,就会出现如下错误: Failed to become active master,org.apache.hadoop.hbase.T...
阅读全文