屌丝码农

摘要： 一、上节内容回顾 1 spring的概念 （1）核心：ioc和aop （2）spring一站式框架 2 spring的bean管理（xml） （1）bean实例化 （2）注入属性 （3）注入对象属性 3 ioc和di （1）ioc：控制反转，把对象创建交给spring管理 （2）di：依赖注入，创建 阅读全文

摘要： 一、Spring概念 1 spring是开源的轻量级框架 2 spring核心主要两部分： （1）aop：面向切面编程，扩展功能不是修改源代码实现 （2）ioc：控制反转， - 比如有一个类，在类里面有方法（不是静态的方法），调用类里面的方法，创建类的对象，使用对象调用方法，创建类对象的过程，需要n 阅读全文

摘要： Kafka的消费模型分为两种： 1.分区消费模型 2.分组消费模型 一.分区消费模型 二、分组消费模型 Producer ： kafka 学习告一段落，后面进入的为Spring 温习。 阅读全文

摘要： Step 1: 下载Kafka > tar -xzf kafka_2.9.2-0.8.1.1.tgz> cd kafka_2.9.2-0.8.1.1 Step 2: 启动服务Kafka用到了Zookeeper，所有首先启动Zookper，下面简单的启用一个单实例的Zookkeeper服务。可以在命令 阅读全文

摘要： 一.Kafka的持久化 1.数据持久化： 发现线性的访问磁盘（即：按顺序的访问磁盘），很多时候比随机的内存访问快得多，而且有利于持久化； 传统的使用内存做为磁盘的缓存 Kafka直接将数据写入到日志文件中，以追加的形式写入 2.日志数据持久化特性： 写操作：通过将数据追加到文件中实现 读操作：读的时 阅读全文

摘要： 一.Kafka中的核心概念 Producer: 特指消息的生产者Consumer :特指消息的消费者Consumer Group :消费者组，可以并行消费Topic中partition的消息Broker：缓存代理，Kafa 集群中的一台或多台服务器统称为 broker。Topic：特指 Kafka 阅读全文

摘要： 一.Kafka简介 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，使用Scala语言编写，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，多订阅者，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据（实时性的计算）。 在大数据系统中，常常会碰到一 阅读全文

摘要： 一 Kafka概述 1.1 Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最初是由LinkedIn开发， 阅读全文

摘要： 一、项目整体概述 简述项目的背景 背景：用户行迹企业运营 分析项目的目的 通过对项目的分析，可以初步得到以下目的： •实时掌握用户动态 •根据实时统计结果，适度推广 •统计分析效果，快速合理的调整 通过对项目的分析，可以初步得到以下目的： •实时掌握用户动态 •根据实时统计结果，适度推广 •统计分析 阅读全文

摘要： 一、数据生产实现 1.配置数据生产模块 项目基础配置所包含的内容，如下所示： •项目工程的文件配置 •集群连接信息配置 •开发演示 项目基础配置所包含的内容，如下所示： •项目工程的文件配置 •集群连接信息配置 •开发演示 2.实现 Flume 到 Kafka 模块 实现 Flume 到 Kafka 阅读全文