每天进步一小步

摘要： 官方文档：https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients beeline 的常用参数 The Beeline CLI 支持以下命令行参数: Option Description --autoCommit=[tr 阅读全文

摘要： -- 当前目录下查找文件中含有字符-temp的文件 find . -name "*.*" | xargs grep "temp" 阅读全文

摘要： scala下载地址：https://www.scala-lang.org/download/ spark下载地址：https://spark.apache.org/downloads.html 安装步骤 安装scala tar -zxvf scala-2.13.0.tgz scp -r scala- 阅读全文

摘要： Hive的参数设置方式 1、配置文件 （全局有效） 2、命令行参数（对 hive 启动实例有效） 3、参数声明 （对 hive 的连接 session 有效） （1）配置文件 Hive 的配置文件包括： A.　用户自定义配置文件：$HIVE_CONF_DIR/hive-site.xml B.　默认配 阅读全文

摘要： hive中有四种排序： 1、全局排序：order by 2、内部排序：sort by 3、分区排序：distribute by 4、组合排序：cluster by 全局排序：order by 说明：全局排序是在一个MapReduce中进行排序的。 参数： ASC：是升序的意思和mysql一样，同时也 阅读全文

摘要： shuf 随机切分文件内容 打乱文件行号 shuf imei.txt > imei_1.txt 1/把文随机切分成若干部分 （１）全部打乱 shuf imei.txt > imei_info.txt （２）顺序切分 前100行 $ head -n100 imei_info.txt > imei_1. 阅读全文

摘要： 基本类型 类型名称 大小 最小值 最大值 示例 TINYINT 1byte -128 127 100Y SMALLINT 2byte -32768 32767 100S INT 4byte -2,147,483,648 2,147,483,647 100 BIGINT 8byte -9,223,37 阅读全文

摘要： 加载数据，2种方式 从文件加载到Hive表 从查询插入到Hive表 阅读全文

摘要： 创建简单表 创建分区表 一个表可以拥有一个或者多个分区，每个分区以文件夹的形式单独存在表文件夹的目录下。 分区是以字段的形式在表结构中存在，通过describe table命令可以查看到字段存在，但是该字段不存放实际的数据内容，仅仅是分区的表示。 在Hive Select查询中一般会扫描整个表内容， 阅读全文

摘要： 1、row_number、rank、dense_rank ROW_NUMBER() –从1开始，按照顺序，生成分组内记录的序列 RANK() 生成数据项在分组中的排名，排名相等会在名次中留下空位 DENSE_RANK() 生成数据项在分组中的排名，排名相等会在名次中不会留下空位 2、sum、avg、 阅读全文