Mr Demo Learn

摘要： Flink实时处理入门 1、Flink框架介绍 Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。它是由 3 所地处柏林的大学和欧洲其他一 些大学在 2010~2014 年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2019年1月阿 阅读全文

摘要： ClickHouse数据库 一、软件简介 clickHouse是俄罗斯搜索巨头Yandex公司早2016年开源的一个极具"战斗力"的实时数据分析数据库，开发语言是C++,是一用于联机分析(OLAP)的列式数据库管理系统，简称CK，工作速度比传统方法快100-1000倍，Clickhouse的性能超过 阅读全文

摘要： Kafka快速入门 1、MQ简介 生产者向队列发送消息，消费者从队列消费消息，先进先出属于队列类型。常用的消息中间件有RabbitMQ、RocketMQ、kafka等，使用消息中间件目的是:程序解耦，异步（请求同步要求前面的执行完成后才能执行）、数据削峰（短时间大量的请求访问同一个URL，服务器短时 阅读全文

摘要： Kylin&CDH理论基础 一、维度与度量 维度是观察数据的角度。比如电商的销售数据，可以从时间维度来观察，进一步细化时间和地区维度来观察。 度量是被聚合的统计值，也是聚合运算的结果。知道维度和度量，可以对数据模型上的所有字段进行分类，要么维度，要么度量，由此就出现了根据维度、度量做预计算的Cube 阅读全文

摘要： Altas&Ranger快速入门 一、元数据 企业内部远行多种类型的数据库，有关系型数据库、非关系型数据库、图数据库、时序数据库等，常见有mysql、redis、Mongodb、oracle、prometheus等，数据库是用来管理和存储数据的，例如：oracle数据库：schema是一组数据库对象 阅读全文

摘要： Hadoop快速入门 一、大数据思维 分而治之 所谓“分而治之”，就是把一个复杂的算法问题按一定的“分解”方法分为等价的规模较小的若干部分，然后逐个分别找出各部分的解，再把各部分的解组成整个问题的解。 传统的计算都是基于内存去完成的，但是内存是有限的，数据量太大，导致无法在较短时间内迅速解决，也就是 阅读全文

摘要： SQL强化 SQL执行顺序 --举例： select a.sex, b.city, count(1) as cnt, sum(salary) as sum1 from table1 a join table2 b on a.id=b.id where a.name=b.name group by a 阅读全文

摘要： 数仓项目总结 一、数据采集 数据从哪里来的？一般在实际开发中，是业务开发端在业务系统程序中，植入一些收集事件数据的SDK(工具代码),进行各种事件数据的收集，埋点数据可以植入到业务系统的前端程序或者后端程序中。我们作为大数据开发，只需要提出数据埋点需求，对具体实现技术仅作基本了解即可。 收集与分析的 阅读全文

摘要： Prometheus&Grafana快速入门 一、prometheus简介 prometheus是监控多个大数据组件的监控系统。Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。Prometheus使用Go语言开发，是Google BorgMon监控系统的 阅读全文

摘要： 数据仓库理论 数仓是一种思想，数仓是一种规范，数仓是一种解决方案！ 1、数据处理方式 数据处理大致可以分为两大类:联机事务处理:OLTP(On_Line Transaction Processing)、联机分析处理OLAP(On_Line Analytical Processing) OLTP(On 阅读全文