随笔分类 -  大数据

记一次Configured Capacity: 0 (0 B)的解决
摘要：场景 最近hadoop集群新加了一个节点N，通过Ambari管理 一切正常。 过了两天发现，虽然集群每天要进几个G的数据(共8个节点)，但节点N占用空间丝毫没有变化，显然没有进数据啊 日志 查看该节点日志，没有任何异常。 缩小问题范围 为了验证节点N没有进数据，我登录到该节点，并执行hdfs的put 阅读全文
posted @ 2017-10-17 09:43 TiestoRay 阅读(2226) 评论(0) 推荐(0)
Ambari Views的自定义
摘要：下载ambari源码， ambari-views/examples/ 下面有很多例子，直接编译是不会成功的， 因为每一个例子项目都需要一个依赖 我下的是ambari2.5的源码，所以这里是2.5.0.0.0 这个依赖的解决有两种方案。 1.直接将version改为2.0.0.0，因为maven官方仓 阅读全文
posted @ 2017-10-10 16:13 TiestoRay 阅读(655) 评论(0) 推荐(0)
因磁盘爆满而导致NameNode HA无法启动
摘要：场景回顾： 测试集群节点分配：35，36是namenode且开启HA，37,38,39即作为datanode，又作为journalnode。 某时间 38节点磁盘爆满，集群中hdfs及依赖的服务全部宕掉。 之后虽然将38节点清除一部分多余数据，但集群服务仍然不正常：namenode启动的时候两个都是 阅读全文
posted @ 2017-08-15 09:00 TiestoRay 阅读(1639) 评论(0) 推荐(0)
大数据产品的备份及恢复
摘要：Hbase Distcp方式 整体下载上传方式 CopyTable备份 Export工具 elasticsearch 建立备份快照数据挂载点 建立快照仓储repository 建立snapshot快照备份 恢复snapshot快照数据 原集群恢复 新集群恢复 HDFS Distcp方式 整体下载上传 阅读全文
posted @ 2017-05-05 16:25 TiestoRay 阅读(1018) 评论(0) 推荐(0)
ambari2.4.2在CentOS7上的二次开发
摘要：前言：如果想安装到CentOS7,就一定要将源码在CentOS7上编译，然后安装，否则可能会出现各种问题 目录 wiki：https://cwiki.apache.org/confluence/display/AMBARI/Ambari 源码结构 为了方便了解结构树，使用了一个在线脑图来展示。 查看 阅读全文
posted @ 2017-01-18 18:01 TiestoRay 阅读(9762) 评论(7) 推荐(0)
Oozie-4.0.0-cdh5.3.6搭建
摘要：如果使用mysql，记得把驱动包放到server的lib目录下（记着要先创建oozie用户） cp mysql-connector.jar oozie/oozie-server/webapps/oozie/WEB-INF/lib 初始化数据库 bin/ooziedb.sh create -sqlfi 阅读全文
posted @ 2016-12-19 17:04 TiestoRay 阅读(2019) 评论(0) 推荐(0)
Hadoop2.5.0 搭建实录
摘要：目录： 第一步：准备相关材料 第二步：虚拟机环境搭建 第三步：用户信息 第四步 安装、配置Java环境 第五步 Zookeeper安装配置 第六步 Hadoop安装、配置 第七步：HBase安装部署 第八步：Sqoop安装部署(sqoop1) 第九步：Hive安装部署 第二步：虚拟机环境搭建 第三步 阅读全文
posted @ 2016-12-16 14:24 TiestoRay 阅读(1335) 评论(1) 推荐(1)
centos7安装ambari教程
摘要：ambari版本 ：2.4.2 （不过各版本安装过程没啥差异） 目录： 为什么要用Ambari Ambari 是 Apache Software Foundation 中的一个顶级项目。就 Ambari 的作用来说，就是创建、管理、监视 Hadoop 的整个生态圈产品（例如 Hive，Hbase，S 阅读全文
posted @ 2016-12-09 16:16 TiestoRay 阅读(12791) 评论(0) 推荐(0)
如何查看MapReduce执行的程序中的输出日志
摘要：我们开发程序的时候，好多人都喜欢用sysout输出内容来查看运行情况。但是在MR程序里写了之后，却不知道去哪里查找，可以参考这篇文章。 第一种方法，我们可以在MapReduce任务查看页面找到这些日志 1.在MapReduce任务查看页面找到任务，点击进入 2.在任务详情页最下面由执行了该任务的节点 阅读全文
posted @ 2016-11-29 13:35 TiestoRay 阅读(12052) 评论(0) 推荐(1)
非root用户的SSH免密登录
摘要：在网上找到的教程一般是这样说的 然后使用 ssh localhost测试 使用root用户，或属于root组的用户如此操作的时候是没问题的 但是其他情况则没有起到免密的作用，使用SSH登录的时候仍然提示输入密码 实际上是.ssh文件夹需要更改权限 这样一来就没问题了 阅读全文
posted @ 2016-10-27 08:56 TiestoRay 阅读(4384) 评论(0) 推荐(0)
Sqoop:Could not load db driver class: com.microsoft.sqlserver.jdbc.SQLServerDriver
摘要：Sqoop version：1.4.6-cdh Hadoop version:2.6.0-cdh5.8.2 场景：使用Sqoop从MSSqlserver导数据 虽然1.4.6的官网说 Even if Sqoop supports a database internally, you may stil 阅读全文
posted @ 2016-10-24 11:58 TiestoRay 阅读(3364) 评论(0) 推荐(0)
Sqoop2搭建及使用
摘要：1. 下载并安装配置Sqoop 【需要的环境：Hadoop，Java】 首先 Hadoop版本2.7.2 20161013 找了篇Sqoop的文章就开撸 结果发现什么1.3，1.9，又有什么Sqoop1，Sqoop2.乱了。 先是使用的1.3，两个多小时，各种失败。发现还有一个与hadoop的版本兼 阅读全文
posted @ 2016-10-18 16:57 TiestoRay 阅读(3527) 评论(2) 推荐(0)
大数据学习-遇到问题整理
摘要：1.DataNode无法启动（其他服务完全正常） 这一般是因为NameNode和DataNode的namespaceID不一致，产生原因一般是由于两次或两次以上的格式化NameNode造成的。 我出现这个问题的场景是用一个新机器重新配置并替换掉了原来的NameNode，初始化后就出现了这个问题 有两 阅读全文
posted @ 2016-10-11 11:16 TiestoRay 阅读(376) 评论(0) 推荐(0)