@ 小浩 - 博客园

2017年2月19日

摘要：【导读】清华“差生”10年奋斗经历：只写事业，不写女人。作者从2004年本科毕业写到2012年，近10年的奋斗经历。反正一字一句看完后，各种反省各种彻悟。不要老去抱怨别人“天时地利人和”，做好当下，后来人或许还会羡慕嫉妒恨你。我的故事里有三个人：我自己、我大学同宿舍的哥们、我第一个公司的直接领导。阅读全文

posted @ 2017-02-19 14:13 @ 小浩阅读(431) 评论(0) 推荐(0)

2017年2月16日

hive优化之------控制hive任务中的map数和reduce数

摘要：、控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义阅读全文

posted @ 2017-02-16 00:32 @ 小浩阅读(3168) 评论(0) 推荐(0)

Hive新功能 Cube, Rollup介绍

摘要：说明：Hive之cube、rollup，还有窗口函数，在传统关系型数据（Oracle、sqlserver）中都是有的，用法都很相似。 GROUPING SETS GROUPING SETS作为GROUP BY的子句，允许开发人员在GROUP BY语句后面指定多个统计选项，可以简单理解为多条group 阅读全文

posted @ 2017-02-16 00:15 @ 小浩阅读(548) 评论(0) 推荐(0)

2017年2月15日

Hadoop Hive 中的排序 Order by ,Sort by ,Distribute by以及 Cluster By

摘要： order byorder by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序）只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。set hive.mapred.mode=nonstrict; (default value / 默认值)set 阅读全文

posted @ 2017-02-15 23:46 @ 小浩阅读(1403) 评论(0) 推荐(0)

Hive修改表

摘要：本章将介绍如何修改表的属性，如，修改表名，修改列名，添加列，并删除或替换列。 Alter Table 语句它是在Hive中用来修改的表。语法声明接受任意属性，我们希望在一个表中修改以下语法。 Rename To… 语句下面是查询重命名表，把 employee 修改为 emp。 JDBC 程序阅读全文

posted @ 2017-02-15 21:49 @ 小浩阅读(769) 评论(0) 推荐(0)

Hive 体系结构

摘要： 1、Hive架构与基本组成下面是Hive的架构图。图1.1 Hive体系结构 Hive的体系结构可以分为以下几部分：（1）用户接口主要有三个：CLI，Client 和 WUI。其中最常用的是CLI，Cli启动的时候，会同时启动一个Hive副本。Client是Hive的客户端，用户连接至Hive 阅读全文

posted @ 2017-02-15 14:43 @ 小浩阅读(3924) 评论(0) 推荐(0)

Hive 查看日志

摘要：日志记录了程序运行的过程，是一种查找问题的利器。Hive中的日志分为两种1. 系统日志，记录了hive的运行情况，错误状况。2. Job 日志，记录了Hive 中job的执行的历史过程。系统日志存储在什么地方呢？在hive/conf/ hive-log4j.properties 文件中记录了Hiv 阅读全文

posted @ 2017-02-15 14:32 @ 小浩阅读(14245) 评论(0) 推荐(0)

Hive 安装操作

摘要：本篇为安装篇较简单：前提：1: 安装了hadoop-1.0.4（1.0.3也可以）正常运行2:安装了hbase-0.94.3, 正常运行接下来，安装Hive，基于已经安装好的hadoop，步骤如下：1：下载从http://hive.apache.org/下载hive-0.9.0/创建目录/hive将阅读全文

posted @ 2017-02-15 14:31 @ 小浩阅读(386) 评论(0) 推荐(0)

Hive组件以及执行过程

摘要：对Hive的基本组成进行了总结： 1、组件：元存储（Metastore ）－存储“系统目录以及关于表、列、分区等的元数据”的组件。驱动（Driver ）－控制 HiveQL 生命周期的组件，当 HiveQL 查询穿过 Hive时。该驱动管理着会话句柄以及任何会话的统计。查询编译器（Query C 阅读全文

posted @ 2017-02-15 14:29 @ 小浩阅读(2095) 评论(0) 推荐(0)

Hive基本操作

摘要：阅读本文章可以带着下面问题：1.与传统数据库对比，找出他们的区别2.熟练写出增删改查（面试必备）创建表：hive> CREATE TABLE pokes (foo INT, bar STRING); Creates a table called pokes with two columns, the 阅读全文

posted @ 2017-02-15 14:27 @ 小浩阅读(814) 评论(0) 推荐(0)