摘要：€的unicode码是0x80，它对应的二进制是10000000，这个二进制如果是表示负数的话对应-128，我就用‘\-128’作为分隔符 \x 使用十六进制数指定的Unicode 字符,如\xc8 \u 使用数字指定的Unicode 字符，如\u2000 \v 垂直 Tab 符 \uxxxx这种格 阅读全文

摘要：错误信息： insert overwrite table t_mobile_mid_use_p_tmp4_rcf select '201411' as month_id, a.prov_id, a.city, a.client_imsi, a.os_version, b.install_status 阅读全文

摘要：数据操作能力是大数据分析至关重要的能力。数据操作主要包括：更改(exchange)，移动(moving)，排序(sorting)，转换(transforming)。Hive提供了诸多查询语句，关键字，操作和方法来进行数据操作。一、 数据更改数据更改主要包括：LOAD, INSERT, IMPORT, 阅读全文

摘要：本文主要使用实例对Hive内建的一些聚合函数、分析函数以及采样函数进行比较详细的讲解。 一、基本聚合函数 数据聚合是按照特定条件将数据整合并表达出来，以总结出更多的组信息。Hive包含内建的一些基本聚合函数，如MAX, MIN, AVG等等，同时也通过GROUPING SETS, ROLLUP, C 阅读全文

摘要：HiverServer2支持远程多客户端的并发和认证，支持通过JDBC、Beeline等连接操作。hive默认的Derby数据库，由于是内嵌的文件数据库，只支持一个用户的操作访问，支持多用户需用mysql保存元数据。现在关心的是HiveServer如何基于mysql元数据库管理用户权限，其安全控制体 阅读全文

摘要：hive函数的分类 hive的客户端 显示当前会话有多少函数可用 SHOW FUNCTIONS; 如： hive> show functions ;OK!!=% 显示函数的描述信息 DESC FUNCTION concat; 如： hive> DESC FUNCTION concat;OKconca 阅读全文

摘要：虚拟列 -- 当 hive 产生了非预期的或 null 的时候，可以通过虚拟列进行诊断，判断哪行数据出现问题 INPUT__FILE__NAME （输入文件名）map任务读入File的全路径 BLOCK__OFFSET__INSIDE__FILE （块内偏移量） 如果是RCFile或者是Sequen 阅读全文

摘要：查看块的大小hive> set dfs.block.size > ;dfs.block.size=134217728hive> select 134217728/1024/1024;OK128.0Hive0.11查询结果保存到文件并指定列之间的分隔符在Hive0.11.0版本新引进了一个新的特性，也 阅读全文

摘要：好久没写Hive的那些事了，今天开始写点吧。今天的话题是总结Hive的几种常见的数据导入方式，我总结为四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中查询出相应的数据并导入到Hive表中；（4）、在创建表的时候通过从别的表中查询出相应的 阅读全文

摘要：http://yugouai.iteye.com/blog/1908121分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。开窗函数指定了分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化drop table if e 阅读全文

摘要：近来在搞一个名片识别的app，在测试过程中，经常出现返回结果为空的错误。一直以为是识别不到名片的问题，纠缠了几天，突然在一天晚上注意到原来识别是没问题，问题是出现在json内容分析上。一下茅塞顿开了。痛恨醒悟得太晚了。 如下面识别到的名片内容： {"code":"0","result":"123ad 阅读全文