米兰的小铁將

2019年4月22日

摘要：官网文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL一、create table1、官方字段##CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available ... 阅读全文

posted @ 2019-04-22 11:10 米兰的小铁將阅读(558) 评论(0) 推荐(0)

2019年4月19日

1.10-1.11 hive交互式命令讲解

摘要：一、hive 交互式命令参数#帮助[root@hadoop-senior hive-0.13.1]# bin/hive -hMissing argument for option: husage: hive -d,--define Variable subsitution to apply to hive com... 阅读全文

posted @ 2019-04-19 15:40 米兰的小铁將阅读(412) 评论(0) 推荐(0)

1.9 Hive常见属性配置

摘要：一、Hive数据仓库位置配置1、#Hive数据仓库位置配置：默认位置(hive根目录)： /user/hive/warehouse注意事项： *在仓库目录下，没有对默认的数据库default创建文件夹 *如果某张表属于default数据库，直接在数据仓库目录下创建一个文件夹，而且default数据库的目录不显示；2、在hive命令行执行hdfs命令：#删除一个文件hive (de... 阅读全文

posted @ 2019-04-19 15:12 米兰的小铁將阅读(417) 评论(0) 推荐(0)

1.8 Hive运行日志配置和查看

摘要：一、配置文件 1、重命名配置文件 2、配置log目录 2、命令行设置阅读全文

posted @ 2019-04-19 14:00 米兰的小铁將阅读(3074) 评论(0) 推荐(0)

1.7 hive基本操作

摘要：一、基本命令和设置1、命令[root@hadoop-senior hive-0.13.1]# bin/hiveLogging initialized using configuration in jar:file:/opt/modules/hive-0.13.1/lib/hive-common-0.13.1.jar!/hive-log4j.propertieshive> show database... 阅读全文

posted @ 2019-04-19 11:33 米兰的小铁將阅读(245) 评论(0) 推荐(0)

1.6 Hive配置metastore

摘要：一、配置1、配置文件#创建配置文件[root@hadoop-senior ~]# cd /opt/modules/hive-0.13.1/conf/[root@hadoop-senior conf]# lshive-default.xml.template hive-env.sh hive-exec-log4j.properties.template hive-log4j.propertie... 阅读全文

posted @ 2019-04-19 10:44 米兰的小铁將阅读(1425) 评论(0) 推荐(0)

2019年4月18日

1.5 Hive初步使用和安装MySQL

摘要：一、HQL初步试用1、创建一个student表#创建一个student表hive> create table student(id int, name string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';OKTime taken: 0.028 secondshive> show tables;OKbf_logstudentTime take... 阅读全文

posted @ 2019-04-18 18:25 米兰的小铁將阅读(250) 评论(0) 推荐(0)

1.3-1.4 hive环境部署

摘要：一、官网：http://hive.apache.org/下载：http://archive.apache.org/dist/hive/GitHub：https://github.com/apache/hive二、伪分布式部署前提是hadoop环境已经部署好了；我用的之前的hadoop伪分布式环境；1、准备安装包、解压[root@hadoop-senior softwares]# tar zxf a... 阅读全文

posted @ 2019-04-18 17:47 米兰的小铁將阅读(277) 评论(0) 推荐(0)

1.1- 1.2 hive入门

摘要：一、hive是什么由Facebook开源用于解决海量结构化日志的数据统计；Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类SQL查询功能；构建在Hadoop之上的数据仓库：使用HQL作为查询接口；使用HDFS存储；使用MapReduce计算；本质是：将HQL转化成MapReduce程序灵活性和扩展性比较好：支持UDF，自定义存储格式... 阅读全文

posted @ 2019-04-18 16:49 米兰的小铁將阅读(173) 评论(0) 推荐(0)

4.3-4.6 项目实战之日志数据收集、处理、分析

摘要：一、日志分析以nginx日志为例；1、日志字段含义：$remote addr客户端的ip地址（如果中间有代理服务器那么这里显示的ip就为代理服务器的ip地址）Sremote user用于记录远程客户端的用户名称（一般为“-”）Stime local用于记录访问时间和时区$request用于记录请求的ur1以及请求方法$status响应状态码Sbody bytes sent给客户端发送的文件主体内容... 阅读全文

posted @ 2019-04-18 15:17 米兰的小铁將阅读(240) 评论(0) 推荐(0)

米兰的小铁將

公告