摘要：
1. 安装前资源准备操作系统（我在这里使用的是centos 6.5 64bit）准备jdk的安装包 3.准备Hadoop安装包2. 必要环境搭建2.1 Java环境配置以root用户登录系统我把jdk安装到/opt目录下，进入该目录进行解压，命令如下现在该目录下多了jdk1.7.0_71这个文... 阅读全文
posted @ 2016-01-05 11:08
GavinQiu
阅读(959)
评论(0)
推荐(0)
摘要：
Hadoop 2.x 编译编译前准备 （hadoop_src/BUILDING.txt）Requirements:* Unix System* JDK 1.6+* Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)* ProtocolBu... 阅读全文
posted @ 2015-03-11 13:53
GavinQiu
阅读(160)
评论(0)
推荐(0)
摘要：
在docker中共享本地目录docker run -v localFile:dockerFile -ti imageName command例：docker run -v ~/:/root -ti stocsis/hadoop-2.6.0:v1 bash注：路径必须为绝对路径查看最近运行的docke... 阅读全文
posted @ 2015-03-11 13:52
GavinQiu
阅读(181)
评论(0)
推荐(0)
摘要：
编辑/etc/network/interface文件auto br0iface br0 inet staticaddress 192.168.7.31netmask 255.255.240.0gateway 192.168.7.254bridge_ports em1bridge_stp offdns... 阅读全文
posted @ 2015-03-11 13:51
GavinQiu
阅读(431)
评论(0)
推荐(0)
摘要：
将硬盘挂载到指定目录，如/data在hdfs-site.xml中修改 dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data,/data Determines where on the local filesystem an DFS data ... 阅读全文
posted @ 2015-03-11 13:50
GavinQiu
阅读(293)
评论(0)
推荐(0)
摘要：
1.启动hdfs start-dfs.sh (启动后使用jps查看进程是否启动)2.执行hdfs portmap start和hdfs nfs3 start 使用jps查看portmap和nfs3是否启动3.执行mount -t nfs -o vers=3,proto=tcp,nolock 10.... 阅读全文
posted @ 2015-03-11 13:49
GavinQiu
阅读(1497)
评论(0)
推荐(0)
摘要：
转自http://blog.csdn.net/xia_yu_mao_fa/article/details/37825713hdfs-webdav能讲hdfs映射为本地文件系统。通过实现webDav Http协议。可以如使用本地文件系统一样使用hdfs。部署过程：（hadoop版本为1.2.1，使用高... 阅读全文
posted @ 2015-03-11 13:48
GavinQiu
阅读(1874)
评论(0)
推荐(0)
摘要：
1.到http://www.apache.org/dyn/closer.cgi/hive/ 上下载hive0.14.0的版本2.使用cp命令拷贝到Linux主机的hadoop用户下我这里使用的hadoop用户为qhg3.使用tar -zxvf 命令进行解压，解压完后由于名字太长，使用mv进行重命名4... 阅读全文
posted @ 2014-12-13 16:29
GavinQiu
阅读(1539)
评论(0)
推荐(0)
摘要：
Hive 中敲sql语句很不方便而且数据量大了以后显示的表数据可读性非常差。后来在Eclipse marketplace 发现有hive的插件下面给出Toad for Cloud databases的安装并连通到hive的步骤点击下载按钮在这里给出了安装的URL,地址为：http://toaddow... 阅读全文
posted @ 2014-12-09 14:28
GavinQiu
阅读(514)
评论(0)
推荐(0)
摘要：
最近在shell中想调用MySQL的语句查询结果，却出现了一个令人诧异的结果这是MySQL中的表数据在这个表中存了一条sql语句，想在shell中分离出这条语句进行执行执行结果不是想象中的和sql查询的结果一致却出现了这个奇怪的结果仔细分析图中的结果，联想表中所存的sql语句为select * fr... 阅读全文
posted @ 2014-11-28 14:53
GavinQiu
阅读(443)
评论(0)
推荐(0)
浙公网安备 33010602011771号