随笔分类 -  hadoop

hbase java 基本例子
摘要:一下代码实用 0.99.0 以后的版本。 旧版本的 例子: 关于HBase的过滤器 HBase为筛选数据提供了一组过滤器,通过这个过滤器可以在HBase中数据的多个维度(行、列、数据版本)上进行对数据的筛选操作,也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上(由行键、列名、时间戳定 阅读全文

posted @ 2018-10-22 20:21 zhangyukun 阅读(155) 评论(0) 推荐(0)

hbase 相关
摘要:hbase的 安装 本地安装: 1 解压文件夹。 2 修改 conf/hbase-site.xml ,配置 数据文件夹 <property> hbase的常见语法 1 创建表 : create 'test', 'cf' 2 插入一行: (一次只能插入一列,如果有多列 反复用这个rowkey 插入) 阅读全文

posted @ 2018-10-13 20:05 zhangyukun 阅读(127) 评论(0) 推荐(0)

java 连接 hiveserver2 例子
摘要:启动了 hiveserver2 以后才能使用 程序连接 。目前的 使用的 是 server2 版本。和以前的版本驱动包名不同: 备注:版本2 是 org.apache.hive.jdbc.HiveDriver 版本 1 是 ,org.apache.hadoop.hive.jdbc.HiveDrive 阅读全文

posted @ 2018-10-11 23:46 zhangyukun 阅读(1149) 评论(0) 推荐(0)

hadoop mapreduce 简单例子
摘要:本例子统计 用空格分开的单词出现数量( 这个Main.mian 启动方式是hadoop 2.0 的写法。1.0 不一样 ) 目录结构: 使用的 maven : 下面是maven 依赖。 Main.java: WordMap.java WordReduce.java content.txt 是 要上传 阅读全文

posted @ 2018-10-08 14:35 zhangyukun 阅读(217) 评论(0) 推荐(0)

hadoop 常见 命令
摘要:一 hadoop namenode 命令 1 格式化namanode 磁盘 hadoop namenode -format 二 hadoop fs 命令 和 linux 命令 非常类似 1 创建文件夹 hadoop fs -mkdrc 2 上传文件 hadoop fs -put 文件磁盘路径 3 查 阅读全文

posted @ 2018-10-08 14:26 zhangyukun 阅读(111) 评论(0) 推荐(0)

hbase相关
摘要:hbase是什么:hbase是一个 高可靠,高性能,面向列,可伸缩,实时读写的,分布式nosql数据库。 hbase用来干什么:hbase 利用 hdfs 作为其存储系统,利用 map reduce 处理海量数据 , 利用 zp 做高可用,主要存储非 结构化数据和半结构化的松散数据。 hbase 架 阅读全文

posted @ 2018-10-05 20:48 zhangyukun 阅读(108) 评论(0) 推荐(0)

hive 安装 和基本使用
摘要:hive是什么: hive是一个数据仓库,hive不是一个数据库,hive 不没有自己的数据,hive的数据存在hdfs 中,hive 依赖一个关系型数据库来存储 自己在 hdfs 中的数据的映射关系。 hive用来干什么:用来把 sql 翻译成 mapreduce java 代码,并且提交到 ha 阅读全文

posted @ 2018-10-04 21:36 zhangyukun 阅读(325) 评论(0) 推荐(0)

hdfs 例子
摘要:依赖: 阅读全文

posted @ 2018-09-29 17:21 zhangyukun 阅读(187) 评论(0) 推荐(0)

hadoop 概述
摘要:一, hadoop 的 安装: 修改 namenode 地址 修改 datanode 地址 修改JAVA_HOME 二 hdfs hdfs 分布式文件 系统。 namenode 存放在数据的元文件(文件名相关的信息)。datanode 存放着数据真实的内内容。 hadoop 启动 以后 。namen 阅读全文

posted @ 2018-09-24 23:35 zhangyukun 阅读(181) 评论(0) 推荐(0)

导航