Dlimeng

2018年4月26日

摘要：用的spark版本1.3+ 1.SparkSubmit bin/spark-submit --class xx.WordCount --master spark://ip:7077 --executor-memory 2g --total-executor-cores 4 2.WordCount n 阅读全文

posted @ 2018-04-26 22:53 Dlimeng 阅读(6) 评论(0) 推荐(0)

spark源码系列02-sparkcontext_李孟_新浪博客

摘要：用的spark版本1.3+ 1.SparkSubmit bin/spark-submit --class xx.WordCount --master spark://ip:7077 --executor-memory 2g --total-executor-cores 4 2.WordCount n 阅读全文

posted @ 2018-04-26 22:53 Dlimeng 阅读(17) 评论(0) 推荐(0)

spark源码系列01-Woker启动Executor过程并向Driver注册

摘要： spark版本是1.3+ Woker启动Executor过程并向Driver注册时序图： 1.launchExecutor Master发送消息让Worker启动Executor 2.Worker new() Master 发送给Worker的消息，让Worker启动Execitor,LaunchE 阅读全文

posted @ 2018-04-26 12:28 Dlimeng 阅读(11) 评论(0) 推荐(0)

spark源码系列01-Woker启动Executor过程并向Driver注册_李孟_新浪博客

摘要： spark版本是1.3+ Woker启动Executor过程并向Driver注册时序图： 1.launchExecutor Master发送消息让Worker启动Executor 2.Worker new() Master 发送给Worker的消息，让Worker启动Execitor,LaunchE 阅读全文

posted @ 2018-04-26 12:28 Dlimeng 阅读(15) 评论(0) 推荐(0)

2018年4月23日

SparkSql系列--需求02

摘要：承接SparkSql系列--需求01 点击打开链接 import java.text.SimpleDateFormat import java.util import java.util.{Calendar, Date, Properties} import org.apache.spark.{Sp 阅读全文

posted @ 2018-04-23 01:03 Dlimeng 阅读(9) 评论(0) 推荐(0)

SparkSql系列--需求01

摘要：一.需求介绍前些天碰见个需求，摘取其中一小部分，有用户表，医院表，地区表，以医院和日期（天）的维度下，获取总数。在数据仓库没有搭建好的情况下，从mysql库ode(源数据)，处理完成导入到另一个库中，下面看图示意。用户与医院是一对多的关系，这个是2B项目，医院分割用户，医院与地区是多对一的关系阅读全文

posted @ 2018-04-23 00:51 Dlimeng 阅读(8) 评论(0) 推荐(0)

2018年4月22日

数据仓库系列--维度

摘要：一.简介在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。当所有维表都直接连接到“ 事实表”上时，整个图解就像星星一样，故将该模型称为星型模型，星型架构是一种非正规阅读全文

posted @ 2018-04-22 18:00 Dlimeng 阅读(16) 评论(0) 推荐(0)

数据仓库系列--维度_李孟_新浪博客

摘要：一.简介在多维分析的商业智能解决方案中，根据事实表和维度表的关系，又可将常见的模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候，就应考虑数据是按照星型模型还是雪花型模型进行组织。当所有维表都直接连接到“ 事实表”上时，整个图解就像星星一样，故将该模型称为星型模型，星型架构是一种非正规阅读全文

posted @ 2018-04-22 18:00 Dlimeng 阅读(9) 评论(0) 推荐(0)

2018年4月17日

数据仓库系列--建模

摘要：一.数据仓库的数据模型 1.系统记录域（System of Record）：这部分是主要的数据仓库业务数据存储区，数据模型在这里保证了数据的一致性。 2.内部管理域（Housekeeping）：这部分主要存储数据仓库用于内部管理的元数据，数据模型在这里能够帮助进行统一的元数据的管理。 3.汇总域（S 阅读全文

posted @ 2018-04-17 10:43 Dlimeng 阅读(16) 评论(0) 推荐(0)

数据仓库系列--建模_李孟_新浪博客

摘要：一.数据仓库的数据模型 1.系统记录域（System of Record）：这部分是主要的数据仓库业务数据存储区，数据模型在这里保证了数据的一致性。 2.内部管理域（Housekeeping）：这部分主要存储数据仓库用于内部管理的元数据，数据模型在这里能够帮助进行统一的元数据的管理。 3.汇总域（S 阅读全文

posted @ 2018-04-17 10:43 Dlimeng 阅读(15) 评论(0) 推荐(0)

公告