米兰的小铁將

摘要： 一、子查询1、使用子查询作为计算字段子查询：嵌套在其他查询中的查询现在有两个表，student表和teacher表创建teacher表，并插入数据：CREATE TABLE `teacher` ( `teacher_id` varchar(255) DEFAULT NULL COMMENT '老师编号', `teacher_name` varchar(255) DEFAULT NULL COM... 阅读全文

摘要： 一、汇总统计1、聚集函数COUNT() 计算总数SUM() 求和MAX() 最大值MIN() 最小值AVG() 平均值2、聚集函数使用总共有多少名学生？SELECT COUNT(*) FROM student;所有学生的数学成绩总和？SELECT SUM(score) FROM student;所有学生的数学成绩最高分？SELECT... 阅读全文

摘要： 一、创建新的输出字段1、建表、插数据###CREATE TABLE `t_stock_trans_dtl` ( `trans_id` varchar(100) NOT NULL COMMENT '交易流水号', `stock_name` varchar(20) NOT NULL DEFAULT '' COMMENT '股票名称', `stock_code` varchar(10) NOT N... 阅读全文

摘要： 一、过滤数据1、使用WHERE子句过滤数据：关键字WHERESELECT 字段列表 FROM 表名 WHERE 过滤条件;过滤条件一般由要过滤的字段、操作符、限定值三部分组成；如： SELECT student_id,student_name FROM student WHERE gender = '男';2、常用操作符3、过滤单个值#age 不等于10SELECT student_id ... 阅读全文

摘要： 一、操纵表1、表的关键信息2、更新表名更新表名：使用RENAME TABLE关键字。语法如下： RENAME TABLE 旧表名 TO 新表名;比如，生产环境投产前备份teacher表，使用如下语句： RENAME TABLE teacher TO teacher_bak;3、更新字段名更新字段名：使用ALTER TABLE关键字。语法如下： ALTER TABLE 表名 REN... 阅读全文

摘要： 一、建表1、创建表的两种方式*客户端工具 *SQL语句2、使用SQL语句创建表表名和字段名不能使用中文；（一般为字母开头，字母、数字、下划线组成的字符串）；CREATE TABLE关键字后跟上表名，字段名在括号中列出且以逗号分隔；最后以分号结尾；不区分大小写，但最好关键字都大写；按一定的规则缩进；每个字段都需要设置数据类型；常用的数据类型有以下几个大类： 字符类 数值类 日期和时... 阅读全文

摘要： 一、hive分桶 概述 hive 分桶 分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储。 对于hive中每一个表、分区都可以进一步进行分桶。 由列的哈希值除以桶的个数求余的方式来决定每条数据划分在哪个桶中。 适用场景： 数据抽样（ sampling ）、map-join 数据抽样： 数据 阅读全文

摘要： 一、重定向正则表达式匹配:* ~ 为区分大小写匹配* ~* 为不区分大小写匹配* !~和!~*分别为区分大小写不匹配及不区分大小写不匹配文件及目录匹配:* -f和!-f用来判断是否存在文件* -d和!-d用来判断是否存在目录* -e和!-e用来判断是否存在文件或目录* -x和!-x用来判断文件是否可执行flag标记：* last 相当于Apache里的[L]标记，表示完成rewrite* brea... 阅读全文

摘要： 一、数据处理原理剖析每隔我们设置的batch interval 的time，就去找ReceiverTracker，将其中的，从上次划分batch的时间，到目前为止的这个batch interval time间隔内的block封装为一个batch;其次，会将这个batch中的数据，去创建为一个初始的RDD，一个batch内，在这段时间封装了几个block，就代表这个batch对应的RDD内会有几个p... 阅读全文

摘要： 一、数据接收原理二、源码分析入口包org.apache.spark.streaming.receiver下ReceiverSupervisorImpl类的onStart()方法### override protected def onStart() { // 这里的blockGenerator很重要，和数据接收有关，其运行在worker的executor端负责数据接收后的一些存取工作，以及配... 阅读全文