大数据流动

摘要： 本文讲述如何安装，部署，启停HBase集群，如何通过命令行对Hbase进行基本操作。 并介绍Hbase的配置文件。 在安装前需要将所有先决条件安装完成。 一、先决条件 1、JDK 和Hadoop一样，Hbase需要JDK1.6或者更高的版本，所以请安装好JDK并配置环境变量。 Hbase版本与JDK 阅读全文

摘要： 本文将介绍大数据的知识和Hbase的基本概念，作为大数据体系中重要的一员，Hbase弥补了Hadoop只能离线批处理的不足，支持存储小文件，随机检索。而这种特性使得Hbase对于实时计算体系的事件存储有天然的较好的支持。这使得Hbase在实时流式计算中也扮演者重要的角色。 1、大数据与Hbase 大 阅读全文

摘要： 本文基于Flink1.9版本简述如何连接Kafka。 流式连接器 我们知道可以自己来开发Source 和 Sink ，但是一些比较基本的 Source 和 Sink 已经内置在 Flink 里。 预定义的source支持从文件、目录、socket，以及 collections 和 iterators 阅读全文

摘要： 本文基于java构建Flink1.9版本入门程序，需要Maven 3.0.4 和 Java 8 以上版本。需要安装Netcat进行简单调试。 这里简述安装过程，并使用IDEA进行开发一个简单流处理程序，本地调试或者提交到Flink上运行，Maven与JDK安装这里不做说明。 一、Flink简介 Fl 阅读全文

摘要： 1、UnknownTopicOrPartitionException org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition 报错内 阅读全文

摘要： 1、集群管理 前台启动broker bin/kafka-server-start.sh <path>/server.properties Ctrl + C 关闭 后台启动broker bin/kafka-server-start.sh -daemon <path>/server.properties 阅读全文

摘要： 1.背景 Apache Flink 和 Apache Storm 是当前业界广泛使用的两个分布式实时计算框架。其中 Apache Storm（以下简称“Storm”）在美团点评实时计算业务中已有较为成熟的运用（可参考 Storm 的 可靠性保证测试），有管理平台、常用 API 和相应的文档，大量实时 阅读全文

摘要： 本文简述通过maven和gradle快速构建的Flink工程。建议安装好Flink以后构建自己的Flink项目，安装与示例运行请查看：Flink快速入门--安装与示例运行. 在安装好Flink以后，只要快速构建Flink工程，并完成相关代码开发，就可以轻松入手Flink。 构建工具 Flink项目可 阅读全文

摘要： 1、了解 Apache Kafka 1.1、简介 官网：http://kafka.apache.org/ Apache Kafka 是一个开源消息系统，由Scala 写成。是由Apache 软件基金会开发的一个开源消息系统项目。 Kafka 最初是由LinkedIn 开发，并于2011 年初开源。2 阅读全文

摘要： 实现批处理的技术许许多多，从各种关系型数据库的sql处理，到大数据领域的MapReduce，Hive，Spark等等。这些都是处理有限数据流的经典方式。而Flink专注的是无限流处理，那么他是怎么做到批处理的呢？ 无限流处理：输入数据没有尽头；数据处理从当前或者过去的某一个时间 点开始，持续不停地进 阅读全文