09 2014 档案

win7 eclipse连接hadoop2.x开发环境搭建
摘要：环境：hadoop-2.3.0-cdh5.1.0centos 6.5 x64win7 eclipse4.30. 前提条件 ,jdk,maven要安装好。1、下载hadoop，用winRAR解压。（路径不能有空格）D:\JavaDev\hadoop-2.3.0-cdh5.1.02. 配置win7环境变... 阅读全文
posted @ 2014-09-30 18:19 JamesFan 阅读(224) 评论(0) 推荐(0)
Hive之数据查询
摘要：Hive之数据查询发布于：2013 年 10 月 11 日由Aaron发布于：Hive一，排序和聚合对于排序有两种方式，一种是order by 一种是sort byorder by 会对所有的数据进行排序，所以最后会只有一个reducer来处理，如果数据量非常大，效率会非常差劲sort by是部分排... 阅读全文
posted @ 2014-09-27 18:37 JamesFan 阅读(507) 评论(0) 推荐(0)
hive-0.12.0-cdh5.1.0安装
摘要：先前条件：要先安装好MYSQL下载：hive-0.12.0-cdh5.1.0.tar.gz，并解压到安装目录1.添加环境变量修改/etc/profile文件。#vi /etc/profile增加export HIVE_HOME=/hadoop/hadoop/hive修改exportPATH=$JAV... 阅读全文
posted @ 2014-09-23 15:51 JamesFan 阅读(352) 评论(0) 推荐(0)
通过Java Api与HBase交互
摘要：出处：http://www.taobaotest.com/blogs/qa?bid=13894引言HBase提供了Java Api的访问接口，掌握这个就跟Java应用使用RDBMS时需要JDBC一样重要，本文将继续前两篇文章中blog表的示例，介绍常用的Api。练习前的准备工作创建一个Maven工程... 阅读全文
posted @ 2014-09-23 00:13 JamesFan 阅读(193) 评论(0) 推荐(0)
CentOS RPM安装MySQL-5.6
摘要：1.检查是否有安装安装之前应该先查询系统是否自在了mysql的软件包 rpm -qa|grep -i mysql如果有的话需要先删除 rpm -e 软件名 --nodeps2.下载安装包cd/usr/local/srcwgethttp://cdn.mysql.com/Downloads/MySQL-... 阅读全文
posted @ 2014-09-19 17:29 JamesFan 阅读(191) 评论(0) 推荐(0)
hbase-0.98.1-cdh5.1.0伪分布式安装
摘要：分三步：1. 添加环境变量2.编辑hbase-env.sh文件3.编辑hbase-site.xml 文件前提条件是安装好hadoop，下面展开说明1. 添加环境变量export HBASE_HOME=/usr/local/cdh/hbaseexport PATH=$PATH:$PIG_HOME/bi... 阅读全文
posted @ 2014-09-17 15:50 JamesFan 阅读(343) 评论(0) 推荐(0)
hbase-0.98.1-cdh5.1.0 完全分布式搭建
摘要：cdh版与0.98版的配置一样1.环境master:c1slave:c2,c3CentOS 6.5 x64 ,hadoop-2.3.0-cdh5.1.0，zookeeper-3.4.5-cdh5.1.0下载地址：http://archive.cloudera.com/cdh5/cdh/5/2. 前提... 阅读全文
posted @ 2014-09-15 23:15 JamesFan 阅读(280) 评论(0) 推荐(0)
zookeeper-3.4.5-cdh5.1.0 完全分布式安装
摘要：1.环境主机名IP地址JDKZooKeepermyidc1192.168.58.1291.7.0_11server.11c2192.168.58.1301.7.0_11server.22c3192.168.581311.870_11server.332.文件配置 （每个节点都要配置）tar -zxv... 阅读全文
posted @ 2014-09-14 23:27 JamesFan 阅读(588) 评论(0) 推荐(0)
Ubuntu12.04下eclipse提示框黑色背景色的修改方法
摘要：eclipse提示框的背景颜色使用的是系统的提示框颜色配置，在windows下为黄色，但在Ubuntu12.04(gnome)下却是黑色，造成提示内容很难看清。在eclipse中我们是无法修改这个颜色的配置的，只能通过修改系统的颜色配置。在ubuntu11.10以前，我们是可以能过自定义系统外观来修... 阅读全文
posted @ 2014-09-10 09:59 JamesFan 阅读(154) 评论(0) 推荐(0)
ubuntu使用root权限登录的设置方法
摘要：Ubuntu系统默认是不允许用户以root身份登录的，在网上找到的方法如下：1、首先设置root密码，利用现有管理员帐户登陆Ubuntu，在终端执行命令：sudo passwd root，接着输入密码和root密码，重复密码。这样就有了可用的root用户。2、默认情况是不允许用root帐号直接登录图... 阅读全文
posted @ 2014-09-09 18:01 JamesFan 阅读(973) 评论(0) 推荐(0)
hadoop-2.3.0-cdh5.1.0完全分布式搭建（基于centos）
摘要：先参考：《hadoop-2.3.0-cdh5.1.0伪分布安装（基于centos）》http://blog.csdn.net/jameshadoop/article/details/39055493注：本例使用root用户搭建一、环境操作系统：CentOS6.564位操作系统注：Hadoop2.0以... 阅读全文
posted @ 2014-09-08 22:47 JamesFan 阅读(246) 评论(0) 推荐(0)
完全分布式Hadoop2.3安装与配置
摘要：出处：http://golab.blog.51cto.com/7876557/1365883一、Hadoop基本介绍Hadoop优点1.高可靠性：Hadoop按位存储和处理数据2.高扩展性：Hadoop是在计算机集群中完成计算任务，这个集群可以方便的扩展到几千台3.高效性：Hadoop能够在节点之间... 阅读全文
posted @ 2014-09-08 21:53 JamesFan 阅读(253) 评论(0) 推荐(0)
Hadoop-2.3.0-cdh5.0.1完全分布式环境搭建（NameNode,ResourceManager HA）
摘要：编写不易，转载请注明（http://shihlei.iteye.com/blog/2084711）！说明 本文搭建Hadoop CDH5.0.1 分布式系统，包括NameNode ，ResourceManger HA，忽略了Web Application Proxy 和Job HistorySe... 阅读全文
posted @ 2014-09-08 20:58 JamesFan 阅读(394) 评论(0) 推荐(0)
Vmware克隆Centos 不能上网的解决方案
摘要：问题：用Vmware克隆Centos 6.4后，发现系统内只有eth1,而且/etc/sysconfig/network-scripts/下只有，ifcfg-eth0文件，虽然可以上网，但无法设置静态IP。ifconfig eth0eth1: error fetching interface inf... 阅读全文
posted @ 2014-09-08 18:17 JamesFan 阅读(211) 评论(0) 推荐(0)
vmware克隆Centos网卡修改方法
摘要：vmware克隆Centos网卡修改方法1，查看网卡信息,获得eth编号和MAC地址# dmesg | grep ethe1000 0000:02:00.0:eth0:(PCI:66MHz:32-bit) 00:50:56:8d:20:82e1000 0000:02:00.0:eth0:Inter(... 阅读全文
posted @ 2014-09-08 18:12 JamesFan 阅读(220) 评论(0) 推荐(0)
centos MAC 地址与报错eth0 unknown interface no such device
摘要：eth0 unknown interface no such device出现这个原因是由于虚拟机直接COPY过来，MAC地址发生了变化，但eth0 里仍然记录着旧的MAC地址。解决方法：vim /etc/udev/rules.d/70-persistent-net.rules # PCI dev... 阅读全文
posted @ 2014-09-08 17:37 JamesFan 阅读(435) 评论(0) 推荐(0)
Hadoop集群（第1期）_CentOS安装配置
摘要：Hadoop集群（第1期）_CentOS安装配置1、准备安装1.1 系统简介 CentOS 是什么？ CentOS是一个基于Red Hat企业级 Linux提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的CentOS都会获得七年的支持（通过安全更新方式）。新版本的CentOS每... 阅读全文
posted @ 2014-09-04 21:41 JamesFan 阅读(178) 评论(0) 推荐(0)
hadoop-2.3.0-cdh5.1.0伪分布安装（基于centos）
摘要：一、环境操作系统：CentOS6.564位操作系统注：Hadoop2.0以上采用的是jdk环境是1.7,Linux自带的jdk卸载掉，重新安装下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html软件版本：had... 阅读全文
posted @ 2014-09-04 17:19 JamesFan 阅读(309) 评论(0) 推荐(0)
Centos 6.5 hadoop 2.2.0 全分布式安装
摘要：hadoop 2.2.0 cluster setup环境：操作系统:Centos 6.5jdk:jdk1.7.0_51hadoop版本:2.2.0hostname ipmaster 192.168.1.180slave1 192.168.1.181slave2 192.168.1.182slave... 阅读全文
posted @ 2014-09-04 10:09 JamesFan 阅读(184) 评论(0) 推荐(0)
hadoop-2.3.0-cdh5.1.0完全分布式集群配置HA配置
摘要：一、安装前准备：操作系统：CentOS6.564位操作系统环境：jdk1.7.0_45以上，本次采用jdk-7u55-linux-x64.tar.gzmaster0110.10.2.57namenode节点master0210.10.2.58namenode节点slave01:10.10.2.173... 阅读全文
posted @ 2014-09-03 13:31 JamesFan 阅读(278) 评论(0) 推荐(0)
centos6.x禁用ipv6的方法
摘要：注意可能有两个网卡的情况，修改当前网卡才有效。cd /etc/sysconfig/network-scripts/lsifcfg-Auto_eth0ifcfg-eth0现在ipv6没流行，几乎完全没有用，应该完全禁用，否则会影响到实际应用。比如ssh代理，如果你不禁用ipv6的话，有时候会走ipv6... 阅读全文
posted @ 2014-09-03 00:05 JamesFan 阅读(155) 评论(0) 推荐(0)
CentOS 修改IP地址, DNS, 网关
摘要：注意可能有两个网卡的情况，修改当前网卡才有效。[plain]view plaincopycd/etc/sysconfig/network-scripts/lsifcfg-Auto_eth0ifcfg-eth0 有两个方法：选用其一即可方法一: (一次性到位,将网关，DNS写在同一个文件中)vi /e... 阅读全文
posted @ 2014-09-02 15:29 JamesFan 阅读(371) 评论(0) 推荐(0)