摘要：
object worksheet_lp { println("Welcome to the Scala worksheet") //> Welcome to the Scala worksheet var x = 1 //> x : Int = 1 println(x) ... 阅读全文
摘要：
1 下载 maven : http://maven.apache.org/download.cgi2 解压 tar -xvf apache-maven-3.3.9-bin.tar.gz3 移到所需目录 mv -rf apache-maven-3.3.9 /usr/local/4 编辑profile文 阅读全文
摘要：
Error : Failed to find Spark jars directory (/home/pl62716/spark-2.2.0-SNAPSHOT/assembly/target/scala-2.10/jars).You need to build Spark with the targ 阅读全文
摘要：
快速查看目录 org.sf.easyexplore_1.0.4.jar mongo DB net.jumperz.app.MMonjaDB_1.0.16.jar jasper report jasperreports-6.1.1.jar 阅读全文
摘要：
函数 demo1:set demo2: 给List动态赋值sum()函数接受一个list作为参数，并返回list所有元素之和。请计算 1*1 + 2*2 + 3*3 + ... + 100*100。 demo3: 自定义函数一元二次方程的定义是：ax² + bx + c = 0.请编写一个函数，返回 阅读全文
摘要：
=========================================================================== 第2章 Hive数据的导入 使用Load语句执行数据的导入： LOAD 导入语句到数据仓库的表当中。 load data [local] inpath 'filepath' [overwrite] into table tablename [p... 阅读全文
摘要：
Hive中的自定义函数简介 (1) 在类中创建自定义函数。自定义UDF需要继承'org.apache.hadoop.hive.ql.exec.UDF',实现evaluate函数,evaluate函数支持重载。 (2) 将该类所在的包导出成jar包，放入linux目录下。 (3) 进入hive客户端， 阅读全文
摘要：
启动远程客户端 # hive --service hiveserver2获取连接-〉创建运行环境-〉执行HQL-〉处理结果-〉释放资源 工具类 1 package demo.utils; 2 3 import java.sql.Connection; 4 import java.sql.Driver 阅读全文
摘要：
缺少slf4j-api.jar和slf4j-log4j12.jar这两个jar包导致的错误。 阅读全文
摘要：
error: resolve: url->change hive to hive2 before: after: 阅读全文
摘要：
- 集合中如果含null数据，不可使用not in, 可以使用in- hive只支持where和from子句中的子查询- 主查询和自查询可以不是同一张表 阅读全文
摘要：
等值连接 不等值连接 外连接(取交集) (右外连接) 自连接 阅读全文
摘要：
Hive数学函数 round : 四舍五入 ceil : 向下取整 floor : 向上取整 Hive字符函数 Hive收集函数和转换函数 Hive日期函数 Hive条件函数 Hive聚合函数和表生成函数 阅读全文
摘要：
简单查询和fetch task 简单查询： 简单查询的 fetch task 功能，从HDFS拉取，不用map reduce. 前两种配置，当前session有效。修改hive-site.xml永久有效。 查询中使用过滤 在查询中使用排序 排序使用别名时要开启使用别名模式：set hive.grou 阅读全文
摘要：
使用Load语句执行数据的导入 语法： explain: local是从本地导入，无local则默认从HDFS导入,overwrite是否覆盖表中存在的数据。 本地：导入本地一个文件 导入本地一个目录下的文件，覆盖原有数据 导入HDFS文件 使用Sqoop进行数据的导入 (1)下载： http:// 阅读全文
摘要：
体系结构： 元数据 /HQL的执行安装： 嵌入 /远程 /本地管理： CLI /web界面 /远程服务数据类型： 基本 /复杂 /时间数据模型： 数据存储 /内部表 /分区表 /外部表 /桶表 /视图 阅读全文
摘要：
- 视图是一种虚表，是一个逻辑概念；可以跨越多张表- 视图建立在已有表的基础上，视图赖以建立的这些表称为基表。- 视图可以简化复杂的查询。 创建视图 查看视图结构 查询视图 阅读全文
摘要：
对数据进行HASH运算，放在不同文件中，降低热块，提高查询速度。 例如：根据sname进行hash运算存入5个桶中。 create table bucket_table(sid int, sname string, age int)clustered by (sname) into 5 bucket 阅读全文
摘要：
Hive的数据模型之外部表 外部表(External Table)- 指向已经在HDFS中存在的数据，可以创建Partition- 它和内部表在元数据的组织上是相同的，而实际数据的存储则有较大的差异。- 外部表侄有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个 阅读全文
摘要：
Hive的数据模型之分区表 准备数据表： 准备文本数据： 将文本数据插入到数据表： -partition对应于数据库中的Partition 列的密集索引 -在Hive中，表中的一个Partition对应于表下的一个目录，所有的Partition的数据都存储在对应的目录中。 创建分区表： 向分区表中插 阅读全文