技术即艺术

摘要： 1. 查看所有topic 2. 创建tooic及topic的partitioner 说明:在集群模式中，partitioner可以根据集群节点的磁盘空间大小和kafka server这个配置`log dir=/data/kafka log,/data01/kafka log,/data02/kafk 阅读全文

摘要： ####1. 写在前面 flume-ng高可用长在大数据处理环节第一个出现，对于处理日志文件有很好的作用，本篇博客将详细介绍flume-ng的高可用负载均衡搭建 ####2. flume-ng高可用负载均衡描述 在一般情况下，Flume-ng高可用采用server和client模式，client主要 阅读全文

摘要： 1. 写在前面 在利用flink实时计算的时候，往往会从kafka读取数据写入数据到kafka，但会发现当kafka多个Partitioner时，特别在P量级数据为了kafka的性能kafka的节点有十几个时，一个topic的Partitioner可能有几十个甚至更多，发现flink写入kafka的 阅读全文

摘要： 1. 写在前面 Flink被誉为第四代大数据计算引擎组件，即可以用作基于离线分布式计算，也可以应用于实时计算。Flink可以自己搭建集群模式已提供为庞大数据的计算。但在实际应用中。都是计算hdfs上的数据文件，所以更多的建立在基于hadoop集群，而hadoop集群的资源调度组件为yarn，所以Fl 阅读全文

摘要： 1. 写在前面 Flink被誉为第四代大数据计算引擎组件，即可以用作基于离线分布式计算，也可以应用于实时计算。Flink的核心是转化为流进行计算。Flink三个核心：Source,Transformation,Sink。其中Source即为Flink计算的数据源，Transformation即为进行 阅读全文

摘要： 1. 写在前面 在大数据实时计算方向，天猫双11的实时交易额是最具权威性的，当然技术架构也是相当复杂的，不是本篇博客的简单实现，因为天猫双11的数据是多维度多系统，实时粒度更微小的。当然在技术的总体架构上是相近的，主要的组件都是用到大数据实时计算组件Flink(当然阿里是用了基于Flink深度定制和 阅读全文

摘要： 1. 完成的场景 在很多大数据场景下，要求数据形成数据流的形式进行计算和存储。上篇博客介绍了Flink消费Kafka数据实现Wordcount计算，这篇博客需要完成的是将实时计算的结果写到redis。当kafka从其他端获取数据立刻到Flink计算，Flink计算完后结果写到Redis，整个过程就像 阅读全文

摘要： 1. Flink Flink介绍： Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已。再换句话说，Flink 会把所有任务当成流来处理， 阅读全文

摘要： 1. 了解各个组件的作用 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读） Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据 Logstas 阅读全文

摘要： 1. 利用spring boot提供的工具(http://start.spring.io/)自动生成一个标准的spring boot项目架构 2. 因为这里我们是搭建spring boot+mybatis+quartz架构，故在pom.xml文件中配置相关依赖 3. spring boot的理念是做 阅读全文