Protect_Winter's Sketchbook

摘要： 输入：字符及其权值，待译码字符串，待解码字符串 功能要求：输出各字符的哈夫曼编码，输出译码字符串，输出解码字符串 哈夫曼树构造过程： 1.从所有待编码的节点中选取权值最小的两个节点S1,S2，合并成一颗二叉树T1，T1的叶子节点为S1,S2，根节点为S1,S2之和。 2.选取除这两个节点以外最小的节 阅读全文

摘要： 1.全局排序 order by 使用orderby对全局进行排序的前提是只能有一个reduce。order by ASC升序，order by DESC降序。 order by 列别名：按照别名升序排序 order by 列名1 列名2：先按照列名1的升序排序，如果相等再按照列名2进行排序 2.局部 阅读全文

摘要： 学习时长 5小时 发表博客数 6篇 代码量 300行 学习内容 外部表操作，分区、分桶表操作，hive表操作及查询语法 阅读全文

摘要： 9.Group by语句 group by语句通常会和聚合函数一起使用，按照一个或者多个列队进行分组，然后对每个分组进行聚合操作 注：和sql语句不同的是，select后面的字段必须和group by后面的字段保持一致。 错误写法： 此查询语句的结果： 10.having语句 having语句和wh 阅读全文

摘要： order by：会对输入做全局排序，因此只有一个reducer，会导致输入规模较大时，需要较长的计算时间 sort by：不是全局排序，其数据在进入reducer之前完成排序，只保证每个reducer的输出有序而不保证全局有序 distribute by：根据指定的字段将数据分到不同的reduce 阅读全文

摘要： 1.修改表名字 alter table 表原来的名字 rename to 表新的名字 2.查询表结构 desc 表名字 3.添加列 alter table 表名字 add columns （列名字，列字段类型） 4.更新列 alter table 表名字 change column 列原来的名字 列 阅读全文

摘要： 1.什么是分桶 分桶就是将数据按照指定字段进行划分到多个文件中去。分桶就是MapReduce中的分区 2.开启Hive的分桶功能，设置Reduce个数 3.创建分桶表 注：根据c_id将数据划分到3个桶中，分桶的关键字是 clustered by（）into （）buckets 将数据划分到几个桶中 阅读全文

摘要： 1.什么是分区表 在大数据中，最常用的一种思想就是分治，我们可以把大的文件分割成一个个的小文件，这样每次操作一个小文件就很容易了。在hive中仍然支持这种操作，将大的数据按照时间等划分成一个个的小文件，存放在不同的文件夹中。 2.创建分区表 关键字：partitioned by（分区字段，类型）分区 阅读全文

摘要： 1.什么是外部表 外部表因为是指定其他hdfs路径的数据加载到表中来，所以hive认为自己不会独占这份数据，所以删除外部表时，不会删除数据，只会删除元数据 2.内部表和外部表的使用场景 当数据需要共享时，使用外部表，当数据为独有时使用内部表 3.创建外部表 需要添加external关键字 4.加载数 阅读全文

摘要： 学习时长 5小时 发表博客数 3篇 代码量 300行 学习内容 数据仓库基本概念，Hive基础，内部表操作 阅读全文