09 2017 档案

把hdfs数据写入到hbase表
摘要：功能：把hdfs上的数据写入到hbase表。 hadoop的mapreduce输出要导入到hbase表，最好先输出HFile格式，再导入hbase,因为HFile是hbase的内部存储格式，所以导入效率很高，下面我们来看一下具体怎么做。 1、我们在hdfs上有一个文本文件： 2、在hbase表里我们 阅读全文
posted @ 2017-09-15 11:20 kwz 阅读(628) 评论(0) 推荐(0)
eclipse和scala整合，打包配置文件及打包步骤
摘要：我写的是maven项目，pom文件为： 1 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="htt 阅读全文
posted @ 2017-09-13 09:51 kwz 阅读(2967) 评论(0) 推荐(0)
sparkStreaming 读kafka的数据
摘要：目标：sparkStreaming每2s中读取一次kafka中的数据，进行单词计数。 topic:topic1 broker list:192.168.1.126:9092,192.168.1.127:9092,192.168.1.128:9092 1、首先往一个topic中实时生产数据。 代码如下 阅读全文
posted @ 2017-09-13 09:37 kwz 阅读(981) 评论(0) 推荐(0)
脚本put数据到hdfs
摘要：1、vim putdata.sh 脚本功能： 每小时的第15分钟把上一小时的数据put到hdfs相应目录 为了避免大量的小文件，我们把文件夹下的文件cat到一个临时文件里，put成功后删除这个临时文件 #! /bin/bash#当前时间nowtime=`date +%Y%m%d%H%M%S`echo 阅读全文
posted @ 2017-09-07 15:34 kwz 阅读(608) 评论(0) 推荐(0)
Hive的自定义函数
摘要：功能： 通过人的生日，算出人的生肖和星座。 先在hive中创建一个表： 往这表中导入数据： 导入的数据为： 可以成功查询： 编写自定义函数代码：如下 打包： 把包上传到HiveUdfJar目录下： 把jar包添加到hive中： 创建临时函数shengxiao: 查询： 好了！这个自定义函数完成了。 阅读全文
posted @ 2017-09-06 16:38 kwz 阅读(307) 评论(0) 推荐(0)
Ftp客户端需要TSL功能的文件上传
摘要：Ftp客户端需要TSL功能 1、由于最近做了一个项目，需要把打包的文件传输到对方的FTP服务器上，但是用普通的java连接ftp客户端总是连接不上去，对方却说ftp客户端需要开通TSL功能。 直接上代码了！ 阅读全文
posted @ 2017-09-06 13:36 kwz 阅读(1302) 评论(0) 推荐(0)
Hive中的数据库、表、数据与HDFS的对应关系
摘要：1、hive数据库 我们在hive终端，查看数据库信息，可以看出hive有一个默认的数据库default，而且我们还知道hive数据库对应的是hdfs上面的一个目录，那么默认的数据库default到底对应哪一个目录呢？我们可以通过hive配置文件hive-site.xml中的一个hive.metas 阅读全文
posted @ 2017-09-06 13:14 kwz 阅读(6466) 评论(0) 推荐(0)
普通的java Ftp客户端的文件上传
摘要：关于ftp上传文件其实并不难，但有时候面对现实的环境还是很蛋疼的，今天我就分享一下，普通的上传文件文件至FTP的方式，它满足大部分FTP，但也有特别的，下篇博客会提及到。 下面我用一个FtpUtil，来实现各种功能： 我们这里的主要功能是： 把本地文件夹下的文件上传到ftp的一个文件夹下 ，如果上传 阅读全文
posted @ 2017-09-05 17:02 kwz 阅读(506) 评论(0) 推荐(0)
hive表的DDL
摘要：查看表 hive> show tables;创建表 hive> create table t1(id int);查看表结构 hive> desc [extended] t1; extended是可选的，是扩展的表的信息 查看表的创建语句 hive> show create table t1; 在me 阅读全文
posted @ 2017-09-04 10:45 kwz 阅读(574) 评论(0) 推荐(0)
Hive的安装和配置
摘要：前提是：hadoop必须已经启动了*** 1°、解压hive的安装包 [crxy@master soft]# tar -zxvf apache-hive-0.14.0-bin.tar.gz -C ../ 2°、备份配置文件 [crxy@master conf]# cp hive-env.sh.tem 阅读全文
posted @ 2017-09-02 15:04 kwz 阅读(239) 评论(0) 推荐(0)
Linux下安装mysql（离线安装和在线安装）
摘要：一：在线安装mysql 1、首先检测一下，mysql之前有没有被安装 命令：rpm -qa | grep mysql 2、删除mysql的命令： rpm -e --nodeps `rpm -qa | grep mysql` 3、在线安装mysql命令：yum -y install mysql-ser 阅读全文
posted @ 2017-09-02 14:53 kwz 阅读(19149) 评论(0) 推荐(0)
hive基础及系统架构
摘要：1、hive是什么 hive是建立在hadoop上的数据仓库，提供数据的提取、转化和加载。 2、hive的数据存储 1】hive的数据存储基于hdfs 2】存储结构主要包括：数据库、文件、表、索引、视图 3】hive默认可以直接加载文本文件（TextFile）,还支持SecquenceFile、RC 阅读全文
posted @ 2017-09-02 14:12 kwz 阅读(765) 评论(0) 推荐(0)
Flume实时监控目录sink到hdfs，再用sparkStreaming监控hdfs的这个目录，对数据进行计算
摘要：目标：Flume实时监控目录sink到hdfs，再用sparkStreaming监控hdfs的这个目录，对数据进行计算 1、flume的配置，配置spoolDirSource_hdfsSink.properties，监控本地的一个目录，上传到hdfs一个目录下。 agent1.channels = 阅读全文
posted @ 2017-09-02 09:10 kwz 阅读(441) 评论(0) 推荐(0)