按名称传递参数
摘要：通常情况下，函数的参数是传值参数；即参数的值在它被传递给函数之前被确定。但是，如果我们需要编写一个接收参数不希望马上计算，直到调用函数内的表达式才进行真正的计算的函数。对于这种情况，Scala提供按名称参数调用函数。 示例代码如下： 结果： 在代码中，如果定义函数的时候，传入参数不是传入的值，而是传
阅读全文
posted @ 2017-02-28 23:54
02 2017 档案
使用命名参数
摘要：在正常的函数调用中，调用参数在调用函数中是按其定义时的参数顺序进行一一匹配。如果需要按不同的顺序传递参数，就要使用到Scala的一种函数特性——命名参数。 命名参数使用方法很简单，即在调用函数时，指定参数名并进行赋值。示例代码如下： 结果： 从代码和结果中就可以看出使用命名参数的优点：在需要时可以任
阅读全文
posted @ 2017-02-28 20:42
变量值的函数和借贷函数
摘要：在Scala中，函数是“头等公民”，几乎所有的操作都是以函数形式进行。同样的，能够在变量中存放函数（听上去很神奇吧）。示例如下： 本段代码将ceil函数赋值给fun变量，ceil后面的_表名这是一个函数，而不是碰巧忘记给它传参。 在scala中，不需要为每个函数命名，这种没有命名的函数叫做匿名函数。
阅读全文
posted @ 2017-02-28 19:56
高阶函数
摘要：带函数参数的函数由于是一个接受函数参数的函数，故被称为高阶函数，像之前讲到的map()函数就是高阶函数。如下例所示： 上述代码中，apply函数接受一个函数f作为参数，接受一个Int类型的参数，进行f(v)运算，在下面又给出了f具体的定义（layout函数）。 同样的，高阶函数也可以产出另一个函数（
阅读全文
posted @ 2017-02-28 19:45
柯里化函数
摘要：柯里化是指将原来接收两个参数的函数变成接收一个参数的函数的过程，新的函数返回一个以原有第二个参数作为参数的函数。是不是有种被绕晕了的感觉，先别急，先看一个示例： 结果： 这里可以看出，柯里化函数与多个参数的函数具有相同的功能，这中间有一个“应用部分函数”，或者叫“偏应用函数”，这个函数multipl
阅读全文
posted @ 2017-02-28 17:12
10.Execution failed with exit status: 3
摘要：错误信息： insert overwrite table t_mobile_mid_use_p_tmp4_rcf select '201411' as month_id, a.prov_id, a.city, a.client_imsi, a.os_version, b.install_status
阅读全文
posted @ 2017-02-27 14:13
9.数据的操作
摘要：数据操作能力是大数据分析至关重要的能力。数据操作主要包括：更改(exchange)，移动(moving)，排序(sorting)，转换(transforming)。Hive提供了诸多查询语句，关键字，操作和方法来进行数据操作。一、 数据更改数据更改主要包括：LOAD, INSERT, IMPORT,
阅读全文
posted @ 2017-02-27 11:45
9.hive聚合函数，高级聚合，采样数据
摘要：本文主要使用实例对Hive内建的一些聚合函数、分析函数以及采样函数进行比较详细的讲解。 一、基本聚合函数 数据聚合是按照特定条件将数据整合并表达出来，以总结出更多的组信息。Hive包含内建的一些基本聚合函数，如MAX, MIN, AVG等等，同时也通过GROUPING SETS, ROLLUP, C
阅读全文
posted @ 2017-02-27 10:30
1.scala基础语法总结
摘要：Scala基础语法总结：Scala 与 Java 的最大区别是：Scala 语句末尾的分号 ; 是可选的。如果一行里写多个语句那么分号是需要的 val s = "菜鸟教程"; println(s)A:区分大小写 - Scala是大小写敏感的，这意味着标识Hello 和 hello在Scala中会有不
阅读全文
posted @ 2017-02-27 00:35
hive的用户和用户权限
摘要：HiverServer2支持远程多客户端的并发和认证，支持通过JDBC、Beeline等连接操作。hive默认的Derby数据库，由于是内嵌的文件数据库，只支持一个用户的操作访问，支持多用户需用mysql保存元数据。现在关心的是HiveServer如何基于mysql元数据库管理用户权限，其安全控制体
阅读全文
posted @ 2017-02-13 17:30
hive函数总结
摘要：hive函数的分类 hive的客户端 显示当前会话有多少函数可用 SHOW FUNCTIONS; 如： hive> show functions ;OK!!=% 显示函数的描述信息 DESC FUNCTION concat; 如： hive> DESC FUNCTION concat;OKconca
阅读全文
posted @ 2017-02-09 10:08
3.Hive中查看数据来源文件和具体位置方法
摘要：虚拟列 -- 当 hive 产生了非预期的或 null 的时候，可以通过虚拟列进行诊断，判断哪行数据出现问题 INPUT__FILE__NAME （输入文件名）map任务读入File的全路径 BLOCK__OFFSET__INSIDE__FILE （块内偏移量） 如果是RCFile或者是Sequen
阅读全文
posted @ 2017-02-08 11:26
sql平时小总结
摘要：sql练习：举例子：1.CREATE TABLE IF NOT EXISTS zz0 (number INT(11));CREATE TABLE IF NOT EXISTS zz1 (number INT(11));INSERT INTO zz0 (number) VALUES(111111); I
阅读全文
posted @ 2017-02-08 00:02
3.字段间格式转换
摘要：查看块的大小hive> set dfs.block.size > ;dfs.block.size=134217728hive> select 134217728/1024/1024;OK128.0Hive0.11查询结果保存到文件并指定列之间的分隔符在Hive0.11.0版本新引进了一个新的特性，也
阅读全文
posted @ 2017-02-07 23:59
2.Hive的几种常见的数据导入方式
摘要：好久没写Hive的那些事了，今天开始写点吧。今天的话题是总结Hive的几种常见的数据导入方式，我总结为四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中查询出相应的数据并导入到Hive表中；（4）、在创建表的时候通过从别的表中查询出相应的
阅读全文
posted @ 2017-02-07 23:58
1.hive开窗函数，分析函数
摘要：http://yugouai.iteye.com/blog/1908121分析函数用于计算基于组的某种聚合值，它和聚合函数的不同之处是：对于每个组返回多行，而聚合函数对于每个组只返回一行。开窗函数指定了分析函数工作的数据窗口大小，这个数据窗口大小可能会随着行的变化而变化drop table if e
阅读全文
posted @ 2017-02-07 23:52
公司经常用模型
摘要：1.SELECT NVL(ee.emp_id, 7782), m.year, m.month, NVL(ee.expense_claim,0)FROM (SELECT * FROM months WHERE year = 2002) m LEFT OUTER JOIN (SELECT * FROM
阅读全文
posted @ 2017-02-07 23:27
39.FORMAT() 函数
摘要：FORMAT() 函数 FORMAT 函数用于对字段的显示进行格式化。 SQL FORMAT() 语法 SELECT FORMAT(column_name,format) FROM table_name 参数描述 column_name 必需。要格式化的字段。 format 必需。规定格式。 FOR
阅读全文
posted @ 2017-02-07 23:23
37.ROUND() 函数
摘要：ROUND() 函数 ROUND 函数用于把数值字段舍入为指定的小数位数。 SQL ROUND() 语法 SELECT ROUND(column_name,decimals) FROM table_name 参数描述 column_name 必需。要舍入的字段。 decimals 必需。规定要返回的
阅读全文
posted @ 2017-02-07 23:22
38.NOW() 函数
摘要：NOW 函数返回当前的日期和时间。 提示：如果您在使用 Sql Server 数据库，请使用 getdate() 函数来获得当前的日期时间。 SQL NOW() 语法 SELECT NOW() FROM table_name NOW 函数返回当前的日期和时间。 提示：如果您在使用 Sql Serve
阅读全文
posted @ 2017-02-07 23:22
35.MID() 函数
摘要：MID() 函数 MID() 函数 MID 函数用于从文本字段中提取字符。 SQL MID() 语法 SELECT MID(column_name,start[,length]) FROM table_name 参数描述 column_name 必需。要提取字符的字段。 start 必需。规定开始位
阅读全文
posted @ 2017-02-07 23:20
36.LEN() 函数
摘要：LEN() 函数 LEN 函数返回文本字段中值的长度。 SQL LEN() 语法 SELECT LEN(column_name) FROM table_name LEN() 函数 LEN 函数返回文本字段中值的长度。 SQL LEN() 语法 SQL LEN() 实例 我们拥有下面这个 "Perso
阅读全文
posted @ 2017-02-07 23:20
34.UCASE() LCASE() 函数
摘要：UCASE() 函数 UCASE 函数把字段的值转换为大写。 SQL UCASE() 语法 SELECT UCASE(column_name) FROM table_name UCASE() 函数 UCASE 函数把字段的值转换为大写。 SQL UCASE() 语法 SQL UCASE() 实例 我
阅读全文
posted @ 2017-02-07 23:19
33.HAVING 子句
摘要：HAVING 子句 在 SQL 中增加 HAVING 子句原因是，WHERE 关键字无法与合计函数一起使用。 SQL HAVING 语法 SELECT column_name, aggregate_function(column_name) FROM table_name WHERE column_
阅读全文
posted @ 2017-02-07 23:18
32.GROUP BY
摘要：合计函数 (比如 SUM) 常常需要添加 GROUP BY 语句。 合计函数 (比如 SUM) 常常需要添加 GROUP BY 语句。 GROUP BY 语句 GROUP BY 语句用于结合合计函数，根据一个或多个列对结果集进行分组。 SQL GROUP BY 语法 SELECT column_na
阅读全文
posted @ 2017-02-07 23:17
30.MIN() 函数
摘要：MIN() 函数 MIN 函数返回一列中的最小值。NULL 值不包括在计算中。 SQL MIN() 语法 SELECT MIN(column_name) FROM table_name 注释：MIN 和 MAX 也可用于文本列，以获得按字母顺序排列的最高或最低值。 MIN() 函数 MIN 函数返回
阅读全文
posted @ 2017-02-07 23:16
31.SUM() 函数
摘要：SUM() 函数 SUM 函数返回数值列的总数（总额）。 SQL SUM() 语法 SELECT SUM(column_name) FROM table_name SUM() 函数 SUM 函数返回数值列的总数（总额）。 SQL SUM() 语法 SQL SUM() 实例 我们拥有下面这个 "Ord
阅读全文
posted @ 2017-02-07 23:16
28. LAST() 函数
摘要：LAST() 函数 LAST() 函数返回指定的字段中最后一个记录的值。 提示：可使用 ORDER BY 语句对记录进行排序。 SQL LAST() 语法 SELECT LAST(column_name) FROM table_name LAST() 函数 LAST() 函数返回指定的字段中最后一个
阅读全文
posted @ 2017-02-07 23:15
29.MAX() 函数
摘要：MAX() 函数 MAX 函数返回一列中的最大值。NULL 值不包括在计算中。 SQL MAX() 语法 SELECT MAX(column_name) FROM table_name 注释：MIN 和 MAX 也可用于文本列，以获得按字母顺序排列的最高或最低值。 MAX() 函数 MAX 函数返回
阅读全文
posted @ 2017-02-07 23:15
27.
摘要：FIRST() 函数 FIRST() 函数返回指定的字段中第一个记录的值。 提示：可使用 ORDER BY 语句对记录进行排序。 SQL FIRST() 语法 SELECT FIRST(column_name) FROM table_name FIRST() 函数 FIRST() 函数返回指定的字段
阅读全文
posted @ 2017-02-07 23:14
26.COUNT() 函数
摘要：COUNT() 函数返回匹配指定条件的行数。 COUNT() 函数返回匹配指定条件的行数。 SQL COUNT() 语法 SQL COUNT(column_name) 语法 COUNT(column_name) 函数返回指定列的值的数目（NULL 不计入）： SELECT COUNT(column_
阅读全文
posted @ 2017-02-07 23:12
25.AVG 函数
摘要：定义和用法 AVG 函数返回数值列的平均值。NULL 值不包括在计算中。 SQL AVG() 语法 SELECT AVG(column_name) FROM table_name 定义和用法 AVG 函数返回数值列的平均值。NULL 值不包括在计算中。 SQL AVG() 语法 SQL AVG()
阅读全文
posted @ 2017-02-07 23:11
24.函数的类型
摘要：函数的类型 在 SQL 中，基本的函数类型和种类有若干种。函数的基本类型是： Aggregate 函数 Scalar 函数 函数的类型 在 SQL 中，基本的函数类型和种类有若干种。函数的基本类型是： Aggregate 函数 Scalar 函数 合计函数（Aggregate functions）
阅读全文
posted @ 2017-02-07 23:10
23.NULL 函数
摘要：SQL ISNULL()、NVL()、IFNULL() 和 COALESCE() 函数 请看下面的 "Products" 表： 假如 "UnitsOnOrder" 是可选的，而且可以包含 NULL 值。 我们使用如下 SELECT 语句： 在上面的例子中，如果有 "UnitsOnOrder" 值是
阅读全文
posted @ 2017-02-07 22:54
22.NULL 值
摘要：NULL 值是遗漏的未知数据。 默认地，表的列可以存放 NULL 值。 本章讲解 IS NULL 和 IS NOT NULL 操作符。 NULL 值是遗漏的未知数据。 默认地，表的列可以存放 NULL 值。 本章讲解 IS NULL 和 IS NOT NULL 操作符。 SQL NULL 值 如果表
阅读全文
posted @ 2017-02-07 22:49
21. Date 函数
摘要：SQL 日期 当我们处理日期时，最难的任务恐怕是确保所插入的日期的格式，与数据库中日期列的格式相匹配。 只要数据包含的只是日期部分，运行查询就不会出问题。但是，如果涉及时间，情况就有点复杂了。 在讨论日期查询的复杂性之前，我们先来看看最重要的内建日期处理函数。 SQL 日期 当我们处理日期时，最难的
阅读全文
posted @ 2017-02-07 22:42
20.视图是可视化的表。
摘要：SQL CREATE VIEW 语句 什么是视图？ 在 SQL 中，视图是基于 SQL 语句的结果集的可视化的表。 视图包含行和列，就像一个真实的表。视图中的字段就是来自一个或多个数据库中的真实的表中的字段。我们可以向视图添加 SQL 函数、WHERE 以及 JOIN 语句，我们也可以提交数据，就像
阅读全文
posted @ 2017-02-07 22:36
19. AUTO INCREMENT 字段
摘要：Auto-increment 会在新记录插入表中时生成一个唯一的数字。 Auto-increment 会在新记录插入表中时生成一个唯一的数字。 AUTO INCREMENT 字段 我们通常希望在每次插入新记录时，自动地创建主键字段的值。 我们可以在表中创建一个 auto-increment 字段。
阅读全文
posted @ 2017-02-07 22:30
17.SQL 约束
摘要：约束用于限制加入表的数据的类型。 可以在创建表时规定约束（通过 CREATE TABLE 语句），或者在表创建之后也可以（通过 ALTER TABLE 语句）。 我们将主要探讨以下几种约束： NOT NULL UNIQUE PRIMARY KEY FOREIGN KEY CHECK DEFAULT
阅读全文
posted @ 2017-02-07 22:26
18.索引
摘要：CREATE INDEX 语句用于在表中创建索引。 在不读取整个表的情况下，索引使数据库应用程序可以更快地查找数据。 CREATE INDEX 语句用于在表中创建索引。 在不读取整个表的情况下，索引使数据库应用程序可以更快地查找数据。 索引 您可以在表中创建索引，以便更加快速高效地查询数据。 用户无
阅读全文
posted @ 2017-02-07 22:26
16.数据类型（data_type）
摘要：CREATE TABLE 语句 CREATE TABLE 语句用于创建数据库中的表。 SQL CREATE TABLE 语法 CREATE TABLE 表名称 ( 列名称1 数据类型, 列名称2 数据类型, 列名称3 数据类型, .... ) 数据类型（data_type）规定了列可容纳何种数据类型
阅读全文
posted @ 2017-02-07 22:12
15.select into
摘要：select into SELECT INTO 语句从一个表中选取数据，然后把数据插入另一个表中。SELECT INTO 语句常用于创建表的备份复件或者用于对记录进行存档。CREATE TABLE mdb( Id_P INT NOT NULL, LastName VARCHAR (20) NOT N
阅读全文
posted @ 2017-02-07 22:08
14.UNION 和 UNION ALL 操作符
摘要：union all union UNION 操作符用于合并两个或多个 SELECT 语句的结果集。请注意，UNION 内部的 SELECT 语句必须拥有相同数量的列。列也必须拥有相似的数据类型。同时，每条 SELECT 语句中的列的顺序必须相同。 CREATE TABLE Employees_Chi
阅读全文
posted @ 2017-02-07 22:06
13.JOIN
摘要：SQL join 用于根据两个或多个表中的列之间的关系，从这些表中查询数据 CREATE TABLE IF NOT EXISTS zz0 (number INT(11));CREATE TABLE IF NOT EXISTS zz1 (number INT(11));INSERT INTO zz0
阅读全文
posted @ 2017-02-07 21:59
json解析
摘要：近来在搞一个名片识别的app，在测试过程中，经常出现返回结果为空的错误。一直以为是识别不到名片的问题，纠缠了几天，突然在一天晚上注意到原来识别是没问题，问题是出现在json内容分析上。一下茅塞顿开了。痛恨醒悟得太晚了。 如下面识别到的名片内容： {"code":"0","result":"123ad
阅读全文
posted @ 2017-02-07 19:18
12.Alias（别名）
摘要：通过使用 SQL，可以为列名称和表名称指定别名（Alias）。 SQL Alias 表的 SQL Alias 语法 SELECT column_name(s) FROM table_name AS alias_name 列的 SQL Alias 语法 SELECT column_name AS al
阅读全文
posted @ 2017-02-07 08:22
11.BETWEEN 操作符
摘要：BETWEEN 操作符在 WHERE 子句中使用，作用是选取介于两个值之间的数据范围。 BETWEEN 操作符 操作符 BETWEEN ... AND 会选取介于两个值之间的数据范围。这些值可以是数值、文本或者日期。 SQL BETWEEN 语法 SELECT column_name(s) FROM
阅读全文
posted @ 2017-02-07 08:18
10.IN 操作符
摘要：IN 操作符 IN 操作符允许我们在 WHERE 子句中规定多个值。 SQL IN 语法 SELECT column_name(s) FROM table_name WHERE column_name IN (value1,value2,...)城市中的值是'London','Changan Str
阅读全文
posted @ 2017-02-07 08:12
11.通配符
摘要：在搜索数据库中的数据时，您可以使用 SQL 通配符。 SQL 通配符 在搜索数据库中的数据时，SQL 通配符可以替代一个或多个字符。 SQL 通配符必须与 LIKE 运算符一起使用。 在 SQL 中，可使用以下通配符： [^charlist] 或者 [!charlist] 现在，我们希望从上面的 "
阅读全文
posted @ 2017-02-07 08:06
10.LIKE 操作符
摘要：LIKE 操作符用于在 WHERE 子句中搜索列中的指定模式。 LIKE 操作符用于在 WHERE 子句中搜索列中的指定模式。 LIKE 操作符 LIKE 操作符用于在 WHERE 子句中搜索列中的指定模式。 SQL LIKE 操作符语法 SELECT column_name(s) FROM tab
阅读全文
posted @ 2017-02-07 07:50
9.TOP 子句--mysql limit
摘要：TOP 子句 TOP 子句用于规定要返回的记录的数目。 对于拥有数千条记录的大型表来说，TOP 子句是非常有用的。 注释：并非所有的数据库系统都支持 TOP 子句。 MySQL 语法 例子 取出出前3行
阅读全文
posted @ 2017-02-07 07:42
8.INSERT INTO 语句 UPDATE 语句
摘要：1. INSERT INTO 语句 INSERT INTO 语句用于向表格中插入新的行。 语法 INSERT INTO 表名称 VALUES (值1, 值2,....) INSERT INTO Persons VALUES ('Gates', 'Bill', 'Xuanwumen 10', 'Bei
阅读全文
posted @ 2017-02-06 23:34
7.ORDER BY 子句
摘要：ORDER BY 语句 ORDER BY 语句用于根据指定的列对结果集进行排序。 ORDER BY 语句默认按照升序对记录进行排序。 如果您希望按照降序对记录进行排序，可以使用 DESC 关键字。 1.以时间显示，升序 mysql> select * from Orders order by Ord
阅读全文
posted @ 2017-02-06 23:29
6.AND & OR 运算符
摘要：AND 和 OR 运算符用于基于一个以上的条件对记录进行过滤 AND 和 OR 运算符 AND 和 OR 可在 WHERE 子语句中把两个或多个条件结合起来。 如果第一个条件和第二个条件都成立，则 AND 运算符显示一条记录。 如果第一个条件和第二个条件中只要有一个成立，则 OR 运算符显示一条记录
阅读全文
posted @ 2017-02-06 23:06
5.WHERE 子句
摘要：WHERE 子句用于规定选择的标准。 WHERE 子句 如需有条件地从表中选取数据，可将 WHERE 子句添加到 SELECT 语句。 语法 SELECT 列名称 FROM 表名称 WHERE 列 运算符 值 下面的运算符可在 WHERE 子句中使用： 操作符描述 = 等于 <> 不等于 > 大于
阅读全文
posted @ 2017-02-06 22:55
4.SELECT DISTINCT 语句
摘要：在表中，可能会包含重复值。这并不成问题，不过，有时您也许希望仅仅列出不同（distinct）的值。 关键词 DISTINCT 用于返回唯一不同的值。 语法： 所以去重后，只会显示一个值，不会显示重复的值
阅读全文
posted @ 2017-02-06 22:33
3.SELECT 语句
摘要：SELECT 语句用于从表中选取数据。 结果被存储在一个结果表中（称为结果集）。 SQL SELECT 语法 以及： 注释：SQL 语句对大小写不敏感。SELECT 等效于 select。 创建表Persons CREATE TABLE Persons( Id_P INT NOT NULL, Las
阅读全文
posted @ 2017-02-06 22:29
2.sql分类
摘要：SQL DML 和 DDL 可以把 SQL 分为两个部分：数据操作语言 (DML) 和 数据定义语言 (DDL)。 SQL (结构化查询语言)是用于执行查询的语法。但是 SQL 语言也包含用于更新、插入和删除记录的语法。 查询和更新指令构成了 SQL 的 DML 部分： SELECT - 从数据库表
阅读全文
posted @ 2017-02-06 22:11
sql注意事项积累
摘要：1.一定要记住，SQL 对大小写不敏感！ 2.sql中的单引号 ''，如果单引号中是字符串，代表是常量 如，select 'b.phoneNumeber' from test; 如果是数字，如'123'，不需要，直接表示数字；如果是时间要加单引号'20170206' 如： mysql> select
阅读全文
posted @ 2017-02-06 22:09
1.sql简介
摘要：在总结sql语句前，说点无聊的哈哈 SQL 是用于访问和处理数据库的标准的计算机语言。 SQL 能做什么？ SQL 面向数据库执行查询 SQL 可从数据库取回数据 SQL 可在数据库中插入新的记录 SQL 可更新数据库中的数据 SQL 可从数据库删除记录 SQL 可创建新数据库 SQL 可在数据库中
阅读全文
posted @ 2017-02-06 21:54
浙公网安备 33010602011771号