IT界的小十七

摘要： 运行一个example [hadoop@hadoop01 hadoop]$ hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 5 10 运行的过程中报错 然后去查看jobhisto 阅读全文

摘要： HADOOP集群搭建环境准备 3台云主机centos6.9 64位hadoop-2.6.0-cdh5.7.0.tar.gzjdk-8u45-linux-x64.gzzookeeper-3.4.6.tar.gz 本地搭建虚拟机；我们采用.net内网模式hadoop01 172.16.202.238ha 阅读全文

摘要： 我查看了网上的原因，把core.site.xml里的以下配置复制到了hdfs.site.xml里，三台机器都要复制，复制完以后在重新启动hadoop集群，嗯~~~启动了一个nn，还有一个nn没有起来，然后如果你也另一个namenode没有起来请看我另一篇文章吧！！！https://www.cnblo 阅读全文

摘要： 背景：昨晚11点40几分，终于各个集群组件都启动成功了，然后心满意足的去睡觉了，但是今早再起来再去启动的时候就出现了namenode的问题，然后就开始了查找原因的艰辛历程。 查看报错的log日志： 2019-04-07 13:22:57,746 WARN org.apache.hadoop.hdfs 阅读全文

摘要： 拓展：线程与进程的区别 进程是由一个以上的的线程组成的 ps -ef 能出现的就是进程。 YARN HA hadoop001：zk rm(zkfc) nmhadoop002：zk rm(zkfc) nmhadoop003：zk nm ZKFC: 线程 只作为RM进程的一个线程而非独立的进程存在 RM 阅读全文

摘要： 为什么要用集群 在企业中主要使用集群 在学习的过程中使用伪分布式即可，就是单点 HDFS中的 NN SNN DN YARN 的 RM 老大 NM 每个组件只有一个即可 如果nn挂了就不能再继续对外提供服务，例如客户端请求的读写，put get那些。 为了解决这个问题，企业一般都会准备两台nn，对外提 阅读全文

摘要： - 下载 在hadoop家目录下创建一个app目录 [hadoop@hadoop001 ~]$ mkdir app [hadoop@hadoop001 app]$ pwd/home/hadoop/app [hadoop@hadoop001 app]$ wget http://archive.clou 阅读全文

摘要： [hadoop@hadoop001 hive-1.1.0-cdh5.7.0]$ hivewhich: no hbase in (/home/hadoop/app/hive-1.1.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.8.1/bin:/usr/java/j 阅读全文

摘要： 目前所学的复杂数据类型有三种array，map，struct。 复杂数据类型： 如何存 如何取(*****) 1.array(用这种数据类型的特点就是集合里的每一个字段都是一个具体的信息，不会是那种key与values的关系) load数据如上所示，一共两个字段，ruoze 和他们工作的城市 也就是 阅读全文

摘要： 我在用sqoop把数据从mysql导入到hive的过程中遇到报错Error: Java.lang.RuntimeException: java.lang.RuntimeException: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException 阅读全文