// // // //

2019年11月2日

摘要: 首先我们需要搞清楚几个概念:概率函数、概率分布、概率密度 我这里只做简单阐述,意在理解概念,可能不严谨。 我们知道变量可分为离散随机变量和连续随机变量; 概率函数:随机变量取某个值的概率 pi=P(X=ai)(i=1,2,3,4,5,6);以骰子为例,每次摇骰子取值为 1-6,取每个数字的概率为 1 阅读全文
posted @ 2019-11-02 15:06 努力的孔子 阅读(1550) 评论(0) 推荐(0)
 
摘要: hive 有两种启动方式,一种是 bin/hive,一种是 hiveserver2, bin/hive 是 hive 的 shell 模式,所有任务在 shell 中完成,shell 就相当于 hive cli hive 命令行参数 [root@hadoop10 hive2.3.6]# hive - 阅读全文
posted @ 2019-11-02 15:03 努力的孔子 阅读(1421) 评论(0) 推荐(0)
 
摘要: 配置基本操作 hive> set; 查看所有配置hive> set key; 查看某个配置hive> set key value; 设置某个配置 我们可以看到一些 hadoop 的配置,因为 hive 也读入了 hadoop 的配置 三种参数配置方式 1. 配置文件 默认配置文件:hive-defa 阅读全文
posted @ 2019-11-02 14:37 努力的孔子 阅读(394) 评论(0) 推荐(0)
 
摘要: 在 hive 中分区表是很常用的,分桶表可能没那么常用,本文主讲分区表。 概念 分区表 在 hive 中,表是可以分区的,hive 表的每个区其实是对应 hdfs 上的一个文件夹; 可以通过多层文件夹的方式创建多层分区; 通过文件夹把数据分开 分桶表 分桶表中的每个桶对应 hdfs 上的一个文件; 阅读全文
posted @ 2019-11-02 14:32 努力的孔子 阅读(1207) 评论(0) 推荐(0)
 
摘要: DDL,Hive Data Definition Language,数据定义语言; 通俗理解就是数据库与库表相关的操作,本文总结一下基本方法 hive 数据仓库配置 hive 数据仓库默认位置在 hdfs 上的 /user/hive/warehouse 路径下; hive 有个默认的数据库叫 def 阅读全文
posted @ 2019-11-02 09:49 努力的孔子 阅读(868) 评论(0) 推荐(0)