随笔分类 -  hive

hive分隔符总结
摘要:€的unicode码是0x80,它对应的二进制是10000000,这个二进制如果是表示负数的话对应-128,我就用‘\-128’作为分隔符 \x 使用十六进制数指定的Unicode 字符,如\xc8 \u 使用数字指定的Unicode 字符,如\u2000 \v 垂直 Tab 符 \uxxxx这种格 阅读全文

posted @ 2017-11-23 23:56 为尊严而奋斗 阅读(13573) 评论(0) 推荐(0)

10.Execution failed with exit status: 3
摘要:错误信息: insert overwrite table t_mobile_mid_use_p_tmp4_rcf select '201411' as month_id, a.prov_id, a.city, a.client_imsi, a.os_version, b.install_status 阅读全文

posted @ 2017-02-27 14:13 为尊严而奋斗 阅读(1077) 评论(0) 推荐(0)

9.数据的操作
摘要:数据操作能力是大数据分析至关重要的能力。数据操作主要包括:更改(exchange),移动(moving),排序(sorting),转换(transforming)。Hive提供了诸多查询语句,关键字,操作和方法来进行数据操作。一、 数据更改数据更改主要包括:LOAD, INSERT, IMPORT, 阅读全文

posted @ 2017-02-27 11:45 为尊严而奋斗 阅读(826) 评论(0) 推荐(0)

9.hive聚合函数,高级聚合,采样数据
摘要:本文主要使用实例对Hive内建的一些聚合函数、分析函数以及采样函数进行比较详细的讲解。 一、基本聚合函数 数据聚合是按照特定条件将数据整合并表达出来,以总结出更多的组信息。Hive包含内建的一些基本聚合函数,如MAX, MIN, AVG等等,同时也通过GROUPING SETS, ROLLUP, C 阅读全文

posted @ 2017-02-27 10:30 为尊严而奋斗 阅读(16728) 评论(0) 推荐(1)

hive的用户和用户权限
摘要:HiverServer2支持远程多客户端的并发和认证,支持通过JDBC、Beeline等连接操作。hive默认的Derby数据库,由于是内嵌的文件数据库,只支持一个用户的操作访问,支持多用户需用mysql保存元数据。现在关心的是HiveServer如何基于mysql元数据库管理用户权限,其安全控制体 阅读全文

posted @ 2017-02-13 17:30 为尊严而奋斗 阅读(73543) 评论(2) 推荐(1)

hive函数总结
摘要:hive函数的分类 hive的客户端 显示当前会话有多少函数可用 SHOW FUNCTIONS; 如: hive> show functions ;OK!!=% 显示函数的描述信息 DESC FUNCTION concat; 如: hive> DESC FUNCTION concat;OKconca 阅读全文

posted @ 2017-02-09 10:08 为尊严而奋斗 阅读(84757) 评论(0) 推荐(4)

3.Hive中查看数据来源文件和具体位置方法
摘要:虚拟列 -- 当 hive 产生了非预期的或 null 的时候,可以通过虚拟列进行诊断,判断哪行数据出现问题 INPUT__FILE__NAME (输入文件名)map任务读入File的全路径 BLOCK__OFFSET__INSIDE__FILE (块内偏移量) 如果是RCFile或者是Sequen 阅读全文

posted @ 2017-02-08 11:26 为尊严而奋斗 阅读(5614) 评论(0) 推荐(0)

3.字段间格式转换
摘要:查看块的大小hive> set dfs.block.size > ;dfs.block.size=134217728hive> select 134217728/1024/1024;OK128.0Hive0.11查询结果保存到文件并指定列之间的分隔符在Hive0.11.0版本新引进了一个新的特性,也 阅读全文

posted @ 2017-02-07 23:59 为尊严而奋斗 阅读(495) 评论(0) 推荐(0)

2.Hive的几种常见的数据导入方式
摘要:好久没写Hive的那些事了,今天开始写点吧。今天的话题是总结Hive的几种常见的数据导入方式,我总结为四种:(1)、从本地文件系统中导入数据到Hive表;(2)、从HDFS上导入数据到Hive表;(3)、从别的表中查询出相应的数据并导入到Hive表中;(4)、在创建表的时候通过从别的表中查询出相应的 阅读全文

posted @ 2017-02-07 23:58 为尊严而奋斗 阅读(524) 评论(0) 推荐(0)

1.hive开窗函数,分析函数
摘要:http://yugouai.iteye.com/blog/1908121分析函数用于计算基于组的某种聚合值,它和聚合函数的不同之处是:对于每个组返回多行,而聚合函数对于每个组只返回一行。开窗函数指定了分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变化而变化drop table if e 阅读全文

posted @ 2017-02-07 23:52 为尊严而奋斗 阅读(12904) 评论(1) 推荐(0)

json解析
摘要:近来在搞一个名片识别的app,在测试过程中,经常出现返回结果为空的错误。一直以为是识别不到名片的问题,纠缠了几天,突然在一天晚上注意到原来识别是没问题,问题是出现在json内容分析上。一下茅塞顿开了。痛恨醒悟得太晚了。 如下面识别到的名片内容: {"code":"0","result":"123ad 阅读全文

posted @ 2017-02-07 19:18 为尊严而奋斗 阅读(489) 评论(0) 推荐(0)

导航