天行健，君子以自强不息

摘要： 在HUE的hdfs_clusters中目前主要是配置hdfs相关的，配置好了之后便可以在hue中愉快的管理数据了，不过目前的配置还是比较。。。简单的。。 里面的配置主要是参考了hue官方文档，还有两家主要hadoop厂商cloudera和hortonwork。1 hdfs集群配置在hadoo... 阅读全文

摘要： Hue提供了图形化截面管理HDFS数据，可谓之非常方便，但是在配置上，还是有点麻烦的。1/home/hadoop/software/cloud/hue/desktop/conf/pseudo-distributed.ini配置Hue可以通过两种方式访问Hdfs中的数据WebHDFS：提供高速的数... 阅读全文

摘要： 因为hadoop集群中需要配置一个图形化管理数据的截面，后来找到HUE，那么在配置HUE的过程中，发现需要配置httpfs，因为配置了httpfs，hue才能去操作hdfs中的数据。 HttpFs能干啥呢，它可以使你能在浏览器中管理HDFS上的文件，例如在HUE中；它还提供了一套REST风格的... 阅读全文

摘要： 安装HUE之后，需要配置很多东西才能将这个系统的功能发挥出来，因为Yarn是配置的HA模式，所以在配置HUE的时候，会有些不用，下面一段文字是官网拿来的 # Configuration for YARN (MR2) # --------------------------------------... 阅读全文

摘要： 机器环境 Ubuntu 14.10 64位 || OpenJDK-7 || Scala-2.10.4 机群概况 Hadoop-2.6.0 || HBase-1.0.0 || Spark-1.2.0 || Zookeeper-3.4.6 || hue-3.8.1 Hue简介（简单介绍）： ue是一个开 阅读全文

摘要： 我的Spark机群是部署在Yarn上的，因为之前Yarn的部署只是简单的完全分布式，但是后来升级到HA模式，一个主NN，一个备NN，那么Spark HistoryServer的配置也需要相应的做修改，因为不做修改会报错Exception in thread "main" java.lang.refl... 阅读全文

摘要： 因为工作时候有多台电脑放在一起，如果每个用一套键盘鼠标很是不方便，所以希望能够不用电脑之间公用一套键盘鼠标。Synergy可以实现不同电脑之间公用一套键盘鼠标，并且支持简单的复制粘贴。很好用。它还支持不用系统之间的鼠标键盘共享，我目前使用的是Win7+Ubuntu和Ubuntu+Ubuntu两种模式... 阅读全文

摘要： 1 硬件环境 Ubuntu 14.10 64位 2 软件环境 openjdk-7-jdk hadoop 2.6.0 zookeeper-3.4.6 hbase-1.0.0 3 机群规划 3.1 zookeeper配置-机器结点 192.168.1.100 1421-0000192.168.1.106 阅读全文

摘要： 在搭建Hadoop机群的时候，之前遇见了很多次找不到类的错误，因为对Hadoop了解不深，所以就在网上漫无目的的找解决方案，所以这里总结下我用的方法。 解决办法一： 我之前遇到了找不到 org.apache.hadoop.hdfs.tools.GetConf org.apache.hadoop.hd 阅读全文

摘要： 类型一：当你从异常信息中看到JournalNode not formatted，如果在异常中看到三个节点都提示需要格式化JournalNode。如果你是新建集群，你可以重新格式化NameNode,同时你会发现，JournalNode的目录被格式化…类型二：如果只是其中一个JournalNode没有被... 阅读全文