我的空中楼阁

摘要：更新完windows10后，打开当时的virtualbox 4.3.3已经是最新的啦，打开原来安装的几个虚拟机(hadoop)，发现均失败。 打开setting一看，网络一栏有问题，桥接模式的虚拟机都有问题，无法找到对应的网卡。 后来去官网，居然发现有了新出的5,下载安装后，问题依旧。 想到应该是兼容性的问题。 解决方案： 问题解决。 阅读全文

摘要：there maybe many reason to cause this,today our issue is that, if you execute hive –database dbname –e’query’ it report error: can not initialize metastoreclient. root cause: kerbos authentication... 阅读全文

摘要：本文使用的数据库是mysql的sample database employees. download url:https://launchpad.net/test-db/employees-db-1/1.0.6 然后根据ReadMe安装到自己的mysql数据库中。 sqoop的安装： 下载地址：http://apache.dataguru.cn/sqoop/1.4.6/sqoop-1.4.6.bi... 阅读全文

摘要：cat start-zookeeper.sh #!bin/sh for node in namenode01 datanode01 datanode02 do echo "start zookeeper at $node" ssh $node "source .bash_profile;zkServer.sh start" do... 阅读全文

摘要：Hive cli vs beelineThe primary difference between the two involves how the clients connect to Hive.The Hive CLI connects directly to the Hive Driver a... 阅读全文

摘要：近期，大数据开发环境升级为cloudera 5.3. 配套的hive版本升级为0.13.1.可以使用心仪已久的分析开窗函数了。但在使用的过程中发现一些问题，仅记于此。1.在使用hive命令的时候，发现自动跳转至beeline客户端，并且提示hive cli已经过期，推荐使用beeline.然后提示你... 阅读全文

摘要：One time, I have written a query with two tables join,One table is big table with partitions , another table is filter this big table.Then join the tw... 阅读全文

摘要：下载地址：http://pan.baidu.com/s/1ZNpyI 第一次使用maven编译 tez的时候到tez ui部分报错，google后发现有人遇到类似问题是因为maven版本的问题， 当时我使用的是最新的maven3.3，我尝试换到maven3.2.5，再编译后成功。 其他步骤参考：ht 阅读全文

摘要：文件系统就是管理设备，组织文件的一些结构和算法。 /boot分区，它包含了操作系统的内核和在启动系统过程中所要用到的文件， 建这个分 区是有必要的，因为目前大多数的PC机要受到BIOS的限制,况且如果有了一个单独的/boot启 动分区，即使主要的根分区出现了问题，计算机依然能够启动。 /usr分区，是Red Hat linux系统存放软件的地方，如有可能应将最大空间分给它。 /... 阅读全文

摘要：用户配置： User :root Password:toor 2.创建新用户 student Pwd: student 3．安装virtualbox的增强工具软件 4.系统默认安装的是openjdk 1.7.0.5 没有jps等工具可以使用。 但hadoop应该是可以在openjdk中使用的。 卸载 阅读全文

摘要：Greenplum是一种基于postgresql的分布式数据库。其采用shared nothing架构（MPP），主机，操作系统，内存，存储都是自我控制的，不存在共享。也就是每个节点都是一个单独的数据库。节点之间的信息交互是通过 节点互联网络实现。通过将数据分布到多个节点上来实现规模数据的存储，通过并行查询处理来提高查询性能。 这个怎么感觉就像是把小数据库组织起来，联合成一个大型数据库。将数... 阅读全文

摘要：Hive --hiveconf v1="test" --hiveconf v2 -e "select * from ${hiveconf:v1} where col1='${hiveconf:v2}' ";When we run this in linux, shell will parse the... 阅读全文

摘要：kafka-server-start.sh config/server.properties & kafka-server-stop.sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --par... 阅读全文

摘要：由SUN开发，用于在不同的系统之间使用，所以其设计与主机系统无关，用户想使用远程文件时，只需要mount –t nfs就可以把远程的文件拿到本地，像使用本地文件一样使用，非常方便。 它采用C/S架构，结合使用RPC 和 XDR（外部数据表示）可以使用数据在不同的计算机之间交换。 启动NFS文件服务器时,、/etc/rc.local会自动启动exportfs程序，指定可以导出的文件或目录，当然，... 阅读全文

摘要：参考的文章：http://www.cnblogs.com/smartloli/p/4298430.html 当然，在操作的过程中，发现与上述文章中描述的还是有一些小小的区别。 配置好后，start-dfs.sh start-yarn.sh之后，相关的进程，会自动被启动。包括 namenode两个进程,zkfc,journal 等，不需要自己手动启动。 但是standby的namenode的... 阅读全文