摘要：由于笔记本跑不动很多大赛的数据，遂转至申请的虚拟机(centos6.5)中，奈何学校的虚拟机没网，就开始了离线安装pandas的道路，当中有踩了好些坑，于是便产生了这篇文章~ 首先，自带的python版本是2.6.6的，网上查查资料，替换成pyhon2.7的，原因是pandas支持python2.7 阅读全文

摘要：木有网的centos折腾起来简直费劲的不要不要的~ 学校的虚拟机最开始只安装了一个libgcc-4.4.7-4，然而这是不够用的，比如安装软件的时候，需要输入"./configure"就会报没有c编译环境等等。。废话不多说，直接上教程： 首先在http://rpm.pbone.net/里面搜索一系列 阅读全文

摘要：Windows版本 一、从官网下载python2.7，安装过程中把pip给装上，并且把path也选上，就是把自带的工具全选； 二、在cmd下输入python，会进入交互式界面，出了问题很大程度上是因为路径的原因； 三、退出交互式界面，exit()。 四、进入到C:\Python27\Scripts， 阅读全文

摘要：之前发现master中Hmaster进程自己挂掉，而worker中的HRegionServer进程关闭不掉。 最开始怀疑是hbase的pid文件存在tmp中，被系统自己删掉了，就在hbase文件中新建了一个pid文件，用于存放pid号。 发现重新启动hbase，Hmaster还是挂掉。 看log发现 阅读全文

摘要：今天用openstack的dashboard创建了5个instance，现在的工作就是让它们可以相互访问。 1个namenode，4个datanode。 总体思路：有namenode产生公钥和密钥，传给4个datanode。 1.用 ssh-key-gen 在namenode上创建公钥和密钥 2.用 阅读全文

摘要：今天用fuel重新搭建openstack环境，在路由器上ssh 172.16.0.2时，发现如下提示： [root@localhost ~]# ssh 172.16.0.2@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WAR 阅读全文

摘要：SparkSQL与Hive的整合 1. 拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到 $SPARK_HOME/conf/ 2. 在$SPARK_HOME/conf/目录中，修改spark-env.sh，添加 export HIVE_HO 阅读全文

摘要：Kafka安装配置 我们使用5台机器搭建Kafka集群： 1. cluster-1-namenode-1-001 172.16.0.147 2. cluster-1-datanode-1-001 172.16.0.144 3. cluster-1-datanode-1-003 172.16.0.14 阅读全文

摘要：一.Hive安装和配置 1.先决条件 已经安装好hadoop-2.4.1,hbase-1.0.0。 2.下载Hive安装包 当前Hive可到apache官网下载，选择的是hive-1.2.1。运行： wget http://www-us.apache.org/dist/hive/hive-1.2.1 阅读全文