大数据流动

摘要： KafkaCenter是什么 KafkaCenter是一个针对Kafka的一站式，解决方案。用于Kafka集群的维护与管理，生产者和消费者的监控，以及Kafka部分生态组件的使用。 对于Kafka的平台化，一直缺少一个成熟的解决方案，之前比较流行的kafka监控方案，如kafka-manager提供 阅读全文

摘要： 本文介绍Druid查询数据的方式，首先我们保证数据已经成功载入。 Druid查询基于HTTP，Druid提供了查询视图，并对结果进行了格式化。 Druid提供了三种查询方式，SQL，原生JSON，CURL。 一、SQL查询 我们用wiki的数据为例 查询10条最多的页面编辑 SELECT page, 阅读全文

摘要： Netflix(Nasdaq NFLX)，也就是网飞公司，成立于1997年，是一家在线影片[租赁]提供商，主要提供Netflix超大数量的[DVD]并免费递送，总部位于美国加利福尼亚州洛斯盖图。1999年开始订阅服务。2009年，该公司可提供多达10万部DVD电影，并有1千万的订户。2007年2月2 阅读全文

摘要： 随着诸如Apache Flink，Apache Spark，Apache Storm之类的开源框架以及诸如Google Dataflow之类的云框架的增多，创建实时数据处理作业变得非常容易。这些API定义明确，并且诸如Map-Reduce之类的标准概念在所有框架中都遵循几乎相似的语义。 但是，直到今 阅读全文

摘要： DataHub 首先，阿里云也有一款名为DataHub的产品，是一个流式处理平台，本文所述DataHub与其无关。 数据治理是大佬们最近谈的一个火热的话题。不管国家层面，还是企业层面现在对这个问题是越来越重视。数据治理要解决数据质量，数据管理，数据资产，数据安全等等。而数据治理的关键就在于元数据管理 阅读全文

摘要： 本文选自《实时流计算系统设计与实现》 文末有惊喜 状态管理是流计算系统的核心问题之一。在实现流数据的关联操作时，流计算系统需要先将窗口内的数据临时保存起来，然后在窗口结束时，再对窗口内的数据做关联计算。在实现时间维度聚合特征计算和关联图谱特征计算时，更是需要创建大量的寄存用于记录聚合的结果。而CEP 阅读全文

摘要： 实时数据分析门槛较高，我们如何用极少的开发工作就完成实时数据平台的搭建，做出炫酷的图表呢？ 如何快速的搭建实时数据分析平台，首先我们需要实时数据的接入端，我们选择高扩展性、容错性、速度极快的消息系统Kafka，而实时数据仓库，由于 Druid提供了非常方便快捷配置方式，如果不想编写负责的Flink和 阅读全文

摘要： Apache Druid本质就是一个分布式支持实时数据分析的数据存储系统。 能够快速的实现查询与数据分析，高可用，高扩展能力。 距离上一次更新刚过了二十多天，距离0.17版本刚过了三个多月，Druid再次迎来重大更新，Druid也越来越强大了。 Apache Druid 0.18.0 本次更新了 4 阅读全文

摘要： 1.设置用户环境变量vi .bash_profile 或者是 vi ~/.bashrc 2.JAVA_HOME=/home/sgmm/jdk1.6.0_13 CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib PATH=$PATH:$JAVA_HOME/bin:$ 阅读全文

摘要： 本课程源码共享于 https://github.com/tree1123/learning-scala 首先，打开IDEA编辑器的SbtExampleProject项目，我们将在这个项目下进行练习 本节的练习内容位于 com.tree1123.Base 中 新建一个main函数 一 、声明值和变量 阅读全文