hadoop - 随笔分类 - lvlv岁月流逝

hbase 学习笔记

摘要：HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，阅读全文

posted @ 2017-03-14 22:14 lvlv岁月流逝阅读(352) 评论(0) 推荐(0)

基于centos6.5 hbase 集群搭建

摘要：注意本章内容是在上一篇文章“基于centos6.5 hadoop 集群搭建”基础上创建的 1.上传hbase安装包 hbase-0.96.2-hadoop2 我的目录存放在/usr/hadoop/hbase-0.96.2-hadoop2 2.解压 3.配置hbase集群，要修改3个文件（首先zk集群阅读全文

posted @ 2017-03-08 00:14 lvlv岁月流逝阅读(164) 评论(0) 推荐(0)

基于centos6.5 hadoop 集群搭建

摘要：1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等） /etc/hosts里面要配置的是内网IP地址和主机名的映射关系 4.关闭防火墙5.ssh免登陆 6.安装JDK，配置环境变量等阅读全文

posted @ 2017-03-06 21:36 lvlv岁月流逝阅读(261) 评论(0) 推荐(0)

centos 6.5 搭建zookeeper集群

摘要：为什么使用Zookeeper？大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程（如资源、任务分配等）目前，大部分应用需要开发私有的协调程序，缺乏一个通用的机制协调程序的反复编写浪费，且难以形成通用、伸缩性好的协调器ZooKeeper：提供通用的分布式锁服务，用以协调分布式应用 Z 阅读全文

posted @ 2017-02-14 23:13 lvlv岁月流逝阅读(172) 评论(0) 推荐(0)

centos 6.5 配置ssh免登录

摘要：生成密匙： ssh-keygen -t rsa 会生成 id_rsa id_rsa.pub id_rsa：私匙 id_rsa.pub：公匙配置当前机器免登录： cp id_rsa.pub authorized_keys ssh “当前机器名” 配置远程机器免登录： ssh-copy-id “远程机阅读全文

posted @ 2017-02-11 21:16 lvlv岁月流逝阅读(195) 评论(0) 推荐(0)

基于centos6.5 hadoop 伪分布式安装

摘要：步骤1：修改IP 地址和主机名： vi /etc/sysconfig/network-scripts/ifcfg-eth0 如果该文件打开为空白文件代表你计算机上的网卡文件不是这个名称“ifcfg-eth0” ，可以 cd /etc/sysconfig/network-scripts/ 这个目录查看阅读全文

posted @ 2017-02-09 10:01 lvlv岁月流逝阅读(279) 评论(0) 推荐(0)

hbase 无法打开60010网页

摘要：在hbase-site.xml中添加如下节点 hbase 1.0 以后的版本，需要自己手动配置，在文件 hbase-site.xml 中添加如上配置阅读全文

posted @ 2016-11-24 10:19 lvlv岁月流逝阅读(582) 评论(0) 推荐(0)

hbase 基本命令

摘要：1、用shell来连接HBase 2、创建表 3、插入记录 4、查看记录（scan） 5、用get查看单行数据 6、用disable和drop删除表阅读全文

posted @ 2016-11-12 21:35 lvlv岁月流逝阅读(259) 评论(0) 推荐(0)

hbase 单机版安装

摘要：1、安装jdk参见http://www.cnblogs.com/lvlv/p/4337863.html 安装路径:/usr/java/jdk1.7.0_79 2、下载hbase http://mirror.bit.edu.cn/apache/hbase/1.1.7/hbase-1.1.7-bin.t 阅读全文

posted @ 2016-11-12 20:06 lvlv岁月流逝阅读(348) 评论(0) 推荐(0)

client.HConnectionManager$HConnectionImplementation: Can't get connection to ZooKeeper: KeeperErrorCode = ConnectionLoss for /hbase

摘要：解决方法：hbase 未成功启动 1、关闭防火墙：service iptables stop2、start-hbase.sh 阅读全文

posted @ 2015-09-04 07:18 lvlv岁月流逝阅读(1660) 评论(0) 推荐(0)

sqoop 安装使用

摘要：安装配置：1、将sqoop-1.4.4.tar.gz 上传到/usr/local/2、解压 tar -zxvfsqoop-1.4.4.tar.gz3、配置vim /etc/profile在文件最底部加入如下代码：export SQOOP_HOME=/usr/local/sqoop-1.4.4expo... 阅读全文

posted @ 2015-08-24 23:38 lvlv岁月流逝阅读(168) 评论(0) 推荐(0)

hadoop群集启动

摘要：###注意：严格按照下面的步骤 2.5启动zookeeper集群（分别在itcast04、itcast05、itcast06上启动zk） cd /itcast/zookeeper-3.4.5/bin/ ./zkServer.sh start ... 阅读全文

posted @ 2015-08-24 20:04 lvlv岁月流逝阅读(276) 评论(0) 推荐(0)

org.apache.hadoop.ipc.RemoteException: java.io.IOException:XXXXXXXXXXX could only be replicated to 0 nodes, instead of 1

摘要：原因：Configured Capacity也就是datanode没用分配容量 [root@dev9106 bin]# ./hadoop dfsadmin -reportConfigured Capacity: 0 (0 KB)Present Capacity: 0 (0 KB)DFS Remain... 阅读全文

posted @ 2015-08-22 16:55 lvlv岁月流逝阅读(846) 评论(0) 推荐(0)

Directory /usr/local/hadoop/tmp/tmp/hadoop-root/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible

摘要：解决方法： hadoop.tmp.dir /usr/local/hadoop/tmp 改成如下： hadoop.tmp.dir /usr/local/hadoop/... 阅读全文

posted @ 2015-08-18 01:43 lvlv岁月流逝阅读(1188) 评论(0) 推荐(0)

centos6.5 设置ssh无密码登录

摘要：：关闭防火墙vim /etc/selinux/config把SELINUX=enforcing修改为SELINUX=disabledA机器root连接B机器root用户（root用户登录）ssh-keygen -t rsassh-copy-id -i 10.4.9.151ssh 10.4.9.151... 阅读全文

posted @ 2015-08-12 22:40 lvlv岁月流逝阅读(242) 评论(0) 推荐(1)

eclipse 远程调试mapreduce

摘要：使用环境：centos6.5+eclipse(4.4.2)+hadoop2.7.01、下载eclipse hadoop 插件 hadoop-eclipse-plugin-2.7.0.jar 粘贴到eclipse 目录下的plugins下重新启动eclipse2、选择eclipse里面的windows... 阅读全文

posted @ 2015-07-05 20:42 lvlv岁月流逝阅读(1487) 评论(0) 推荐(0)

Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.

摘要：解决方法： org.apache.hadoop hadoop-mapreduce-client-common 2.4.1 阅读全文

posted @ 2015-07-05 09:41 lvlv岁月流逝阅读(729) 评论(0) 推荐(0)

lvlv岁月流逝

随笔分类 - hadoop