摘要：在node2里安装一下hive1.2.1，步骤如下： 1.解压hive的安装包 2.改变目录：mv apache-hive-1.2.1-bin /home/install/hive-1.2 3.vi ~/.bash_profile 进行环境变量的配置： source ~/.bash_profile 阅读全文
flume服务的搭建
2016-01-12 19:29 by Mandylover, 347 阅读, 0 推荐, 收藏,
摘要：搭建前先统一时间，关闭防火墙，使用的jar包版本是1.6.0的服务配置有两种方式第一种：具体步骤如下：1.将jar包传至node1上，解压至根目录2.更改目录名，使用如下命令：mv apache-flume-1.6.0-bin /home/install/flume-1.63.进入flume-1.6... 阅读全文
org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.Text
2016-01-12 09:02 by Mandylover, 3344 阅读, 0 推荐, 收藏,
摘要：代码缺少这一行：job.setInputFormatClass(KeyValueTextInputFormat.class); 阅读全文
hbase单机环境的搭建和完全分布式Hbase集群安装配置
2016-01-10 23:29 by Mandylover, 444 阅读, 0 推荐, 收藏,
摘要：HBase 是一个开源的非关系(NoSQL)的可伸缩性分布式数据库。它是面向列的，并适合于存储超大型松散数据。HBase适合于实时，随机对Big数据进行读写操作的业务环境。 @hbase单机环境的搭建 1.首先配置好JDK，准备好hbase-0.98.12.1-hadoop2-bin.tar的压缩包 阅读全文
yarn环境的搭建
2016-01-04 21:23 by Mandylover, 500 阅读, 0 推荐, 收藏,
摘要：1.首先，在zookeeper搭建成功，服务运行的基础上搭建yarn,其次，保证时间一致2.在 /home/install/hadoop-2.5/etc/hadoop目录下配置一下几个配置文件：第一个：yarn-site.xml yarn.resourcemanager.ha.enabled tru... 阅读全文
zookeeper环境的搭建
2016-01-04 20:55 by Mandylover, 198 阅读, 0 推荐, 收藏,
摘要：接管条件：磁盘上原数据完全一样，而自动接管，则是由zookeeper 实现的FailloverController：控制namenode状态；检查namenode；通过远程协议zookeeper 实现的步骤：前提：三台防火墙都关闭、时间一致（ntpdate -u ntp.sjtu.edu.cn 20... 阅读全文
搭建hdfs服务器集群的搭建+trash
2016-01-03 22:24 by Mandylover, 453 阅读, 0 推荐, 收藏,
摘要：完全分布式搭建需要三台机器：node1、node2和node3 搭建时间之前首先要保持时间一致：date ntpdateyum install ntpdatentpdate -u ntp.sjtu.edu.cndate 如果时间不能设置，可以使用以下命令：rdate -s time-b.timefr 阅读全文
Python入门1
2015-12-30 22:09 by Mandylover, 167 阅读, 0 推荐, 收藏,
摘要：1.循环导入的三种解决办法：（1）把导入移到里边去（2）新建一个脚本（代码重构）（3）把两个循环放在一个里边2.33.Python可多继承，加object为广度优先，不加则为深度优先4.连接mongodb数据库的三种方式：（1）找到mongodb的路径\bin>mongod --dbpath dat... 阅读全文
安装solr
2015-12-29 17:46 by Mandylover, 145 阅读, 0 推荐, 收藏,
摘要：安装之前先关闭防火墙、安装好jdk和tomcat1.启动tomcat的命令为：apache-tomcat-7.0.61/bin/startup.sh2.拷贝solr目录下example/webapps/solr.war，到/home/apache-tomcat-7.0.61/webapps目录下3.... 阅读全文
Linux下安装mysql
2015-12-26 22:00 by Mandylover, 203 阅读, 0 推荐, 收藏,
摘要：1.解压mysql-5.1.73的安装包（同nginx）2.预编译、编译和安装(具体步骤如下)cd mysql-5.1.73./configure --prefix=/usr/mysql-5.1 make && make install3 添加mysql的用户组和用户名：groupadd mysql... 阅读全文
浙公网安备 33010602011771号