天行健，君子以自强不息

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

随笔分类 -  Hadoop

1 2 下一页

Ubuntu 15.10 下Tachyon安装
摘要：1 系统环境 Ubuntu 15.10, Java 1.7, Hadoop 2.6.0 HA, Spark-1.4.0 三台机器 spark-1423-0001： Master， Worker spark-1423-0002： Master， Worker spark-1423-0003： Work 阅读全文
posted @ 2016-03-25 09:59 fgys 阅读(421) 评论(0) 推荐(0)

Hadoop 权限管理
摘要：Hadoop的权限管理同Linux的很像，有用户，用户组之分，同时Hadoop提供了权限管理命令，主要包括：chmod [-R] mode file …只有文件的所有者或者超级用户才有权限改变文件模式。chgrp [-R] group file …使用chgrp命令的用户必须属于特定的组且是文件... 阅读全文
posted @ 2015-08-10 16:26 fgys 阅读(1155) 评论(0) 推荐(0)

Hadoop 新增删除节点
摘要：1 新增Data节点1.1 修改/etc/hosts，增加datanode的ip1.2 在新增加的节点启动服务hadoop-daemon.sh start datanodeyarn-daemon.sh start nodemanager1.3 均衡blockstart-balancer.sh1）如果... 阅读全文
posted @ 2015-08-09 21:57 fgys 阅读(461) 评论(0) 推荐(0)

Ubuntu 14.10 下Hadoop 错误集
摘要：1 FATAL org.apache.hadoop.ha.ZKFailoverController: Unable to start failover controller. Parent znode does not exist. 这个错误导致启动不了DFSZKFailoverController 阅读全文
posted @ 2015-08-05 20:07 fgys 阅读(2689) 评论(0) 推荐(0)

Ubuntu 14.10 下Hadoop FTP文件上传配置
摘要：最近老板提出一个需求，要用Hadoop机群管理生物数据，并且生物数据很多动辄几十Ｇ，几百Ｇ，所以需要将这些数据传到ＨＤＦＳ中，在此之前搭建了ＨＵＥ用来图形化截面管理ＨＤＦＳ数据，但是有个问题，上面使用的ＲＥＳＴ　ＡＰＩ接口，用的是ＨＴＴＰ协议，速度慢，并且一旦挂了就得重来，所以迫切需要一个ＦＴＰ... 阅读全文
posted @ 2015-07-21 16:55 fgys 阅读(2234) 评论(2) 推荐(0)

Ubuntu 14.10 下SSH执行远程命令
摘要：有些时候需要在远程机器上执行命令，如果每次都等进去挺麻烦的，所以用脚本执行会方便很多。下面介绍一下在shell脚本中执行远程命令。1,首先写好要运行的脚本 run-command.sh, 加上执行权限 chmod +x test.sh2,把脚本文件放到远程服务器对应的用户目录3,在本机执行 ss... 阅读全文
posted @ 2015-07-20 21:09 fgys 阅读(893) 评论(0) 推荐(0)

Hadoop 管理工具HUE配置-hdfs_clusters配置
摘要：在HUE的hdfs_clusters中目前主要是配置hdfs相关的，配置好了之后便可以在hue中愉快的管理数据了，不过目前的配置还是比较。。。简单的。。 里面的配置主要是参考了hue官方文档，还有两家主要hadoop厂商cloudera和hortonwork。1 hdfs集群配置在hadoo... 阅读全文
posted @ 2015-07-19 16:59 fgys 阅读(1910) 评论(0) 推荐(1)

Hadoop 管理工具HUE配置-filebrowser配置
摘要：Hue提供了图形化截面管理HDFS数据，可谓之非常方便，但是在配置上，还是有点麻烦的。1/home/hadoop/software/cloud/hue/desktop/conf/pseudo-distributed.ini配置Hue可以通过两种方式访问Hdfs中的数据WebHDFS：提供高速的数... 阅读全文
posted @ 2015-07-19 16:27 fgys 阅读(3137) 评论(0) 推荐(0)

Ubuntu 14.10 下Hadoop HttpFS 配置
摘要：因为hadoop集群中需要配置一个图形化管理数据的截面，后来找到HUE，那么在配置HUE的过程中，发现需要配置httpfs，因为配置了httpfs，hue才能去操作hdfs中的数据。 HttpFs能干啥呢，它可以使你能在浏览器中管理HDFS上的文件，例如在HUE中；它还提供了一套REST风格的... 阅读全文
posted @ 2015-07-19 15:58 fgys 阅读(1658) 评论(0) 推荐(0)

Hadoop 管理工具HUE配置-Yarn Resource Manager HA配置
摘要：安装HUE之后，需要配置很多东西才能将这个系统的功能发挥出来，因为Yarn是配置的HA模式，所以在配置HUE的时候，会有些不用，下面一段文字是官网拿来的 # Configuration for YARN (MR2) # --------------------------------------... 阅读全文
posted @ 2015-07-18 20:58 fgys 阅读(4042) 评论(0) 推荐(0)

Hadoop 管理工具HUE配置
摘要：机器环境 Ubuntu 14.10 64位 || OpenJDK-7 || Scala-2.10.4 机群概况 Hadoop-2.6.0 || HBase-1.0.0 || Spark-1.2.0 || Zookeeper-3.4.6 || hue-3.8.1 Hue简介（简单介绍）： ue是一个开 阅读全文
posted @ 2015-07-18 11:29 fgys 阅读(6981) 评论(0) 推荐(0)

Ubuntu 14.10 下ZooKeeper+Hadoop2.6.0+HBase1.0.0 的HA机群高可用配置
摘要：1 硬件环境 Ubuntu 14.10 64位 2 软件环境 openjdk-7-jdk hadoop 2.6.0 zookeeper-3.4.6 hbase-1.0.0 3 机群规划 3.1 zookeeper配置-机器结点 192.168.1.100 1421-0000192.168.1.106 阅读全文
posted @ 2015-07-08 17:06 fgys 阅读(787) 评论(0) 推荐(0)

Hadoop错误集：Could not find the main class: org.apache.hadoop.*
摘要：在搭建Hadoop机群的时候，之前遇见了很多次找不到类的错误，因为对Hadoop了解不深，所以就在网上漫无目的的找解决方案，所以这里总结下我用的方法。 解决办法一： 我之前遇到了找不到 org.apache.hadoop.hdfs.tools.GetConf org.apache.hadoop.hd 阅读全文
posted @ 2015-07-08 15:16 fgys 阅读(7773) 评论(0) 推荐(1)

Hadoop错误集：Journal Storage Directory not formatted
摘要：类型一：当你从异常信息中看到JournalNode not formatted，如果在异常中看到三个节点都提示需要格式化JournalNode。如果你是新建集群，你可以重新格式化NameNode,同时你会发现，JournalNode的目录被格式化…类型二：如果只是其中一个JournalNode没有被... 阅读全文
posted @ 2015-07-08 09:18 fgys 阅读(4222) 评论(0) 推荐(0)

Ubuntu 14.10 下Ganglia监控Hadoop集群
摘要：前提是已经安装好Ganglia和Hadoop集群1 Master节点配置hadoop-metrics2.properties# syntax: [prefix].[source|sink|jmx].[instance].[options]# See package.html for org.apac... 阅读全文
posted @ 2015-06-15 14:41 fgys 阅读(425) 评论(0) 推荐(0)

Ubuntu 14.10 下安装Ganglia监控集群
摘要：关于 Ganglia 软件，Ganglia是一个跨平台可扩展的，高性能计算系统下的分布式监控系统，如集群和网格。它是基于分层设计，它使用广泛的技术，如XML数据代表，便携数据传输，RRDtool用于数据存储和可视化。它利用精心设计的数据结构和算法实现每节点间并发非常低的。 它已移植到广泛的操作... 阅读全文
posted @ 2015-06-15 10:12 fgys 阅读(762) 评论(0) 推荐(0)

Hadoop常用命令
摘要：hdfs模拟了很多linux命令，用法也很类似，平时用到的整理如下：hadoop fs +类似linux命令cat使用方法：hadoop fs -cat URI [URI …]将路径指定文件的内容输出到stdout。示例：hadoop fs -cat hdfs://host1:port1/file1... 阅读全文
posted @ 2015-04-10 11:10 fgys 阅读(311) 评论(0) 推荐(0)

Ubuntu 14.10 下Hadoop代码编译问题总结
摘要：问题1 protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: 'protoc --version' did not return a version这个问题是... 阅读全文
posted @ 2015-03-27 11:20 fgys 阅读(237) 评论(0) 推荐(0)

Ubuntu 14.10 下SSH配置
摘要：安装Hadoop时候需要设置SSH ,故将此过程记录下来 推荐安装 OpenSSH ， Hadoop 需要通过 SSH 来启动 Slave 列表中各台主机的守护进程，因此 SSH 是必需安装的。虽然我们现在搭建的是一个伪分布式的平台，但是 Hadoop 没有区分开集群式和伪分布式，对于伪分布... 阅读全文
posted @ 2015-01-07 14:08 fgys 阅读(937) 评论(0) 推荐(0)

Ubuntu 14.10 下Eclipse安装Hadoop插件
摘要：准备环境 1 安装好了Hadoop，之前安装了Hadoop 2.5.0，安装参考http://www.cnblogs.com/liuchangchun/p/4097286.html 2 安装Eclipse，这个直接在其官网下载即可安装步骤 1 下载Eclipse插件，我找的是Hadoop 2.... 阅读全文
posted @ 2014-11-25 20:02 fgys 阅读(1255) 评论(0) 推荐(0)

1 2 下一页