kwz

2017年9月6日

功能：通过人的生日，算出人的生肖和星座。先在hive中创建一个表：往这表中导入数据：导入的数据为：可以成功查询：编写自定义函数代码：如下打包：把包上传到HiveUdfJar目录下：把jar包添加到hive中：创建临时函数shengxiao: 查询：好了！这个自定义函数完成了。 Read More

posted @ 2017-09-06 16:38 kwz Views(277) Comments(0) Diggs(0) Edit

Ftp客户端需要TSL功能的文件上传

Ftp客户端需要TSL功能 1、由于最近做了一个项目，需要把打包的文件传输到对方的FTP服务器上，但是用普通的java连接ftp客户端总是连接不上去，对方却说ftp客户端需要开通TSL功能。直接上代码了！ Read More

posted @ 2017-09-06 13:36 kwz Views(1238) Comments(0) Diggs(0) Edit

Hive中的数据库、表、数据与HDFS的对应关系

1、hive数据库我们在hive终端，查看数据库信息，可以看出hive有一个默认的数据库default，而且我们还知道hive数据库对应的是hdfs上面的一个目录，那么默认的数据库default到底对应哪一个目录呢？我们可以通过hive配置文件hive-site.xml中的一个hive.metas Read More

posted @ 2017-09-06 13:14 kwz Views(6323) Comments(0) Diggs(0) Edit

2017年9月5日

普通的java Ftp客户端的文件上传

关于ftp上传文件其实并不难，但有时候面对现实的环境还是很蛋疼的，今天我就分享一下，普通的上传文件文件至FTP的方式，它满足大部分FTP，但也有特别的，下篇博客会提及到。下面我用一个FtpUtil，来实现各种功能：我们这里的主要功能是：把本地文件夹下的文件上传到ftp的一个文件夹下，如果上传 Read More

posted @ 2017-09-05 17:02 kwz Views(475) Comments(0) Diggs(0) Edit

2017年9月4日

hive表的DDL

查看表 hive> show tables;创建表 hive> create table t1(id int);查看表结构 hive> desc [extended] t1; extended是可选的，是扩展的表的信息查看表的创建语句 hive> show create table t1; 在me Read More

posted @ 2017-09-04 10:45 kwz Views(522) Comments(0) Diggs(0) Edit

2017年9月2日

Hive的安装和配置

前提是：hadoop必须已经启动了*** 1°、解压hive的安装包 [crxy@master soft]# tar -zxvf apache-hive-0.14.0-bin.tar.gz -C ../ 2°、备份配置文件 [crxy@master conf]# cp hive-env.sh.tem Read More

posted @ 2017-09-02 15:04 kwz Views(234) Comments(0) Diggs(0) Edit

Linux下安装mysql（离线安装和在线安装）

一：在线安装mysql 1、首先检测一下，mysql之前有没有被安装命令：rpm -qa | grep mysql 2、删除mysql的命令： rpm -e --nodeps `rpm -qa | grep mysql` 3、在线安装mysql命令：yum -y install mysql-ser Read More

posted @ 2017-09-02 14:53 kwz Views(18949) Comments(0) Diggs(0) Edit

hive基础及系统架构

1、hive是什么 hive是建立在hadoop上的数据仓库，提供数据的提取、转化和加载。 2、hive的数据存储 1】hive的数据存储基于hdfs 2】存储结构主要包括：数据库、文件、表、索引、视图 3】hive默认可以直接加载文本文件（TextFile）,还支持SecquenceFile、RC Read More

posted @ 2017-09-02 14:12 kwz Views(728) Comments(0) Diggs(0) Edit

Flume实时监控目录sink到hdfs，再用sparkStreaming监控hdfs的这个目录，对数据进行计算

目标：Flume实时监控目录sink到hdfs，再用sparkStreaming监控hdfs的这个目录，对数据进行计算 1、flume的配置，配置spoolDirSource_hdfsSink.properties，监控本地的一个目录，上传到hdfs一个目录下。 agent1.channels = Read More

posted @ 2017-09-02 09:10 kwz Views(432) Comments(0) Diggs(0) Edit

公告