业余砖家

摘要： 1. DQL相关 2. DDL、DML、DCL相关 3.架构相关 3.1 MySQL的复制原理以及流程 主从复制：将主数据库中的DDL和DML操作通过二进制日志（BINLOG）传输到从数据库上，然后将这些日志重新执行。 主从复制的作用 主数据库出现问题，可以切换到从数据库。 可以进行数据库层面的读写 阅读全文

摘要： top命令介绍 相信每个运维人员都遇到过的事情就是服务器的负载突然飙升，碰到这种情况，大家第一反应一定是登到服务器上，先敲一个top命令看看load average吧。 在Linux操作系统中，top是使用最频繁，也是信息比较全的一个命令，它对于所有正在运行的进行和系统负荷提供不断更新的概览信息，包 阅读全文

摘要： 使用Between And时需要注意的事项：（1）“between and”是包括边界值的，“not between”不包括边界值。（2）“between A and B” 和 “between B and A” 查询出的结果不一样。 阅读全文

摘要： 1. lateral view 简介 hive函数 lateral view 主要功能是将原本汇总在一条（行）的数据拆分成多条（行）成虚拟表，再与原表进行笛卡尔积，从而得到明细表。配合UDTF函数使用，一般情况下经常与explode函数搭配，explode的操作对象（列值）是 ARRAY 或者 MA 阅读全文

摘要： Python 推导式是一种独特的数据处理方式，可以从一个数据序列构建另一个新的数据序列的结构体。 Python 支持各种数据结构的推导式： 列表(list)推导式 字典(dict)推导式 集合(set)推导式 元组(tuple)推导式 一、列表推导式 列表推导式格式为： [表达式 for 变量 in 阅读全文

摘要： 背景 在写脚本程序的时候需要添加一些额外的参数来实现脚本的附加功能或者增强功能，通常的做法是通过sys.argv[i]直接来获取参数的值，但是这个比较局限，要求参数的输入一定要按照顺序。 fileName = sys.argv[1]; regName = sys.argv[2]; 如果在命令行输入的 阅读全文

摘要： 1．压缩 （1）Hive支持的压缩编码 压缩格式 工具 算法 文件扩展名 是否可切分 对应的编码/解码器 DEFLATE 无 DEFLATE .deflate 否 org.apache.hadoop.io.compress.DefaultCodec Gzip gzip DEFLATE .gz 否 o 阅读全文

摘要： 1．查询操作语法 SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY col_list] [C 阅读全文

摘要： 1．Hive最基本操作 （1）启动hive bin/hive （2）查看数据库 hive> show databases; （3）打开默认数据库 hive> use default; （4）显示default数据库中的表 hive> show tables; （5）创建一张表 hive> creat 阅读全文

摘要： 1．基本数据类型 Hive基本数据类型 Java数据类型 长度 例子 TINYINT byte 1byte有符号整数 20 SMALINT short 2byte有符号整数 20 INT int 4byte有符号整数 20 BIGINT long 8byte有符号整数 20 BOOLEAN bool 阅读全文