Mr Demo Learn

摘要： Kafka快速入门 1、MQ简介 生产者向队列发送消息，消费者从队列消费消息，先进先出属于队列类型。常用的消息中间件有RabbitMQ、RocketMQ、kafka等，使用消息中间件目的是:程序解耦，异步（请求同步要求前面的执行完成后才能执行）、数据削峰（短时间大量的请求访问同一个URL，服务器短时 阅读全文

摘要： Kylin&CDH理论基础 一、维度与度量 维度是观察数据的角度。比如电商的销售数据，可以从时间维度来观察，进一步细化时间和地区维度来观察。 度量是被聚合的统计值，也是聚合运算的结果。知道维度和度量，可以对数据模型上的所有字段进行分类，要么维度，要么度量，由此就出现了根据维度、度量做预计算的Cube 阅读全文

摘要： Altas&Ranger快速入门 一、元数据 企业内部远行多种类型的数据库，有关系型数据库、非关系型数据库、图数据库、时序数据库等，常见有mysql、redis、Mongodb、oracle、prometheus等，数据库是用来管理和存储数据的，例如：oracle数据库：schema是一组数据库对象 阅读全文

摘要： Hadoop快速入门 一、大数据思维 分而治之 所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。 传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是 阅读全文

摘要： SQL强化 SQL执行顺序 --举例： select a.sex, b.city, count(1) as cnt, sum(salary) as sum1 from table1 a join table2 b on a.id=b.id where a.name=b.name group by a 阅读全文

摘要： 数仓项目总结 一、数据采集 数据从哪里来的？一般在实际开发中，是业务开发端在业务系统程序中，植入一些收集事件数据的SDK(工具代码),进行各种事件数据的收集，埋点数据可以植入到业务系统的前端程序或者后端程序中。我们作为大数据开发，只需要提出数据埋点需求，对具体实现技术仅作基本了解即可。 收集与分析的 阅读全文

摘要： Prometheus&Grafana快速入门 一、prometheus简介 prometheus是监控多个大数据组件的监控系统。Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的 阅读全文

摘要： 数据仓库理论 数仓是一种思想，数仓是一种规范，数仓是一种解决方案！ 1、数据处理方式 数据处理大致可以分为两大类:联机事务处理:OLTP(On_Line Transaction Processing)、联机分析处理OLAP(On_Line Analytical Processing) OLTP(On 阅读全文

摘要： DataX3.0快速入门 一、DataX3.0概览 DataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内部被广泛使用的离线数据同步工具/平台。解决了数据库之中的数据同步、迁移问题，把网状结构转为星型结构，主要用于数据库之间传送业务数据。 为了解决异构数据源同步问题，DataX将复 阅读全文

摘要： Flume快速入门 一、简介 高可用、高可靠，分布式的海量日志采集、聚合和传输系统，基于流式架构，灵活简单。 event:事件 source:数据源 sink:目标 channel:数据管道 通过获取数据源转化为事件进入数据管道，在数据管道通过中流向目标对象(HDFS、HBase、MySQL等)进行 阅读全文