RICH-ATONE

Apriori算法原理与实现

摘要： Apriori两个重要原理： 1.如果一个集合是频繁项集，则它的所有子集都是频繁项集。假设一个集合{A,B}是频繁项集，则它的子集{A}, {B} 都是频繁项集。 2.如果一个集合不是频繁项集，则它的所有超集都不是频繁项集。假设集合{A}不是频繁项集，则它的任何超集如{A,B}，{A,B,C}必定也阅读全文

posted @ 2020-11-19 22:34 RICH-ATONE 阅读(624) 评论(0) 推荐(0)

Hive表压缩

摘要： Hive数仓中建表尽量都采用压缩，采用压缩能极大的节省存储空间，减少成本消耗。一般建表采用orc snappy压缩格式。如果load数据或者sqoop导入数据到hive中，不能直接使用压缩，可以建临时中间表，查询插入到压缩表中。总之，能节省成本就节省成本，压缩是个不错的选择。同时也支持对表后期更阅读全文

posted @ 2020-11-19 22:28 RICH-ATONE 阅读(1235) 评论(0) 推荐(0)

HIVE拉链表示例

摘要：极限存储：一般采用拉链表。拉链表针对一个变化字段进行操作一个变化字段进行设计开始和结束时间。如果有多个字段进行更新变化，则需要设计多个开始和结束时间，复杂度比较高，或者进行拆表进行设计或者选择全量进行存储。场景：在数据仓库的数据模型设计过程中，经常会遇到下面这种表的设计：有一些表的数据量很阅读全文

posted @ 2020-11-18 23:13 RICH-ATONE 阅读(327) 评论(0) 推荐(1)

Title

摘要：数据运营手册阅读全文

posted @ 2020-11-16 18:39 RICH-ATONE 阅读(108) 评论(0) 推荐(0)

Hadoop的HA的搭建

摘要：在非高可用分布的集群的基础上进行搭建：一般使用HDFS High Availability Using the Quorum Journal Manager此方式进行搭建。 Zookeeper部署： 1.tar -zxvf zookeeper-3.4.10.tar.gz -C ./ （解压zk到当阅读全文

posted @ 2020-11-16 00:04 RICH-ATONE 阅读(311) 评论(0) 推荐(0)

Make A Question

摘要： https://www.codewars.com/ 阅读全文

posted @ 2020-11-12 18:27 RICH-ATONE 阅读(161) 评论(0) 推荐(0)

Oozie调度hive报错application application failed 2 times due to applicationmaster for attempt appattempt_ timed out. failing the application.

摘要： <action name="xxx"> <hive xmlns="uri:oozie:hive-action:0.5"> <job-xml>${nameNode}/xxx/hive-site.xml</job-xml> <configuration> <property> <name>oozie.l 阅读全文

posted @ 2020-11-09 18:44 RICH-ATONE 阅读(1306) 评论(0) 推荐(0)