米兰的小铁將

2019年4月24日

摘要： UDF：User Definition Function一、function#查看自带的函数hive (db_hive)> show functions;#查看一个函数的详细用法hive (db_hive)> desc function extended split;OKtab_namesplit(str, regex) - Splits str around occurances that ma... 阅读全文

posted @ 2019-04-24 16:05 米兰的小铁將阅读(1915) 评论(0) 推荐(0)

2.12 Hivet中order by，sort by、distribute by和cluster by

摘要： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy一、order by对全局数据的排序，仅仅只有一个reduce；Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reduce... 阅读全文

posted @ 2019-04-24 11:29 米兰的小铁將阅读(337) 评论(0) 推荐(0)

2.11 Hive中数据导入导出Import和Export使用

摘要： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ImportExport一、Export、ImportExport 导出，将Hive表中的数据，导出到外部Import 导入，将外部数据导入Hive表中二、Export1、语法EXPORT TABLE tablename TO 'export_target_p... 阅读全文

posted @ 2019-04-24 10:30 米兰的小铁將阅读(631) 评论(0) 推荐(0)

2.9-2.10 hive中常见查询

摘要：一、查询语句https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select1、select语法SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY co... 阅读全文

posted @ 2019-04-24 10:00 米兰的小铁將阅读(270) 评论(0) 推荐(0)

2019年4月23日

2.7-2.8 导入、导出数据(进/出)hive表的方式

摘要：一、导入数据进hive表1、语法LOAD DATA [LOCAL] INPATH 'filepath'[OVERWRITE] INTO TABLE tablename[PARTITION (partcol1=val1,partcol2=val2...)]##* 原始文件的存储位置 *在本地要写local *在HDFS不用写local* ‘filepath’ 文件路径要加引号* 对表的数... 阅读全文

posted @ 2019-04-23 13:51 米兰的小铁將阅读(320) 评论(0) 推荐(0)

2.6 hive分区表

摘要：一、背景#########分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成更小的数据集。在查询时通过WHERE子句中的表达式来选择查询所需要的指定的分区，这样的查询效率会提高很多。#########在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫... 阅读全文

posted @ 2019-04-23 11:07 米兰的小铁將阅读(195) 评论(0) 推荐(0)

2019年4月22日

2.5 Hive中外部表的讲解

摘要：一、外部表1、hive中表的类型管理表托管表(外部表)#内部表>内部表也称之为MANAGED_TABLE；>默认存储在/user/hive/warehouse下，也可以通过location指定；>删除表时，会删除表数据以及元数据；外部表>外部表称之为EXTERNAL_TABLE；>在创建表时可以自己指定目录位置（LOCATION）；>删除表时，只会删除元数据不会删除表数据；Managed Tabl... 阅读全文

posted @ 2019-04-22 16:51 米兰的小铁將阅读(1177) 评论(0) 推荐(1)

2.4 hive创建表实例讲解

摘要：一、create table##员工表create table IF NOT EXISTS default.emp(empno int,ename string,job string,mgr int,hiredate string,sal double,comm double,deptno int)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';##部... 阅读全文

posted @ 2019-04-22 15:38 米兰的小铁將阅读(4231) 评论(0) 推荐(0)

2.3 Hive的数据类型讲解及实际项目中如何使用python脚本对数据进行ETL

摘要：一、hive Data Typeshttps://cwiki. apache. org/confluence/display/HiveLanguageManual+TypesNumeric Types · TINYINT(1-byte signed integer, from-128 to 127) · SMALLINT(2-byte signed integer, f... 阅读全文

posted @ 2019-04-22 14:57 米兰的小铁將阅读(494) 评论(0) 推荐(0)

outlook2013 解决附件大小限制

摘要： 1、先关闭outlook，然后点击"运行"-->输入"regedit" #打开注册表 2、依次打开 “HKEY_CURRENT_USER\Software\Micosoft\Office\15.0\Outlook\Preferences” 3、在右侧列表右键新建一个名为 MaximumAttachm 阅读全文

posted @ 2019-04-22 11:47 米兰的小铁將阅读(528) 评论(0) 推荐(0)

米兰的小铁將

公告