05 2018 档案

精益数据分析-指标
摘要："精益"是很好的创业方法，"数据分析法"则保证数据的收集与分析。二者均可从根本上改变你对企业开创与发展的看法。它们不仅仅是一种方法，还是一种思维模式。精益分析思想指提出正确问题，并重点关注那项可达成你期望结果的关键指标。 一.好的指标定义 有比较性简单易懂比率会改变行为：随着指标变化，你是否会采取相 阅读全文
posted @ 2018-05-28 17:31 Dlimeng 阅读(27) 评论(0) 推荐(0)
精益数据分析-指标_李孟_新浪博客
摘要："精益"是很好的创业方法，"数据分析法"则保证数据的收集与分析。二者均可从根本上改变你对企业开创与发展的看法。它们不仅仅是一种方法，还是一种思维模式。精益分析思想指提出正确问题，并重点关注那项可达成你期望结果的关键指标。 一.好的指标定义 有比较性简单易懂比率会改变行为：随着指标变化，你是否会采取相 阅读全文
posted @ 2018-05-28 17:31 Dlimeng 阅读(14) 评论(0) 推荐(0)
Hbase原理系列--架构
摘要：体系图： 一.写流程 1.client向hregionserver发送写请求。 2.hregionserver将数据写到hlog（write ahead log）。为了数据的持久化和恢复。 3.hregionserver将数据写到内存（memstore） 4.反馈client写成功。 二.数据flu 阅读全文
posted @ 2018-05-12 20:30 Dlimeng 阅读(14) 评论(0) 推荐(0)
Hbase原理系列--架构_李孟_新浪博客
摘要：体系图： 一.写流程 1.client向hregionserver发送写请求。 2.hregionserver将数据写到hlog（write ahead log）。为了数据的持久化和恢复。 3.hregionserver将数据写到内存（memstore） 4.反馈client写成功。 二.数据flu 阅读全文
posted @ 2018-05-12 20:30 Dlimeng 阅读(8) 评论(0) 推荐(0)
Hbase原理系列--成员
摘要：安装url:hbase集群部署 一.简介 HBASE是一个高可靠性、高性能、面向列、可伸缩、稀疏的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成 阅读全文
posted @ 2018-05-12 18:46 Dlimeng 阅读(15) 评论(0) 推荐(0)
Hbase原理系列--成员_李孟_新浪博客
摘要：安装url:hbase集群部署 一.简介 HBASE是一个高可靠性、高性能、面向列、可伸缩、稀疏的分布式存储系统，利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBASE的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成 阅读全文
posted @ 2018-05-12 18:46 Dlimeng 阅读(9) 评论(0) 推荐(0)
kafka系列--消费
摘要：public String title; public ConsumerRecords<byte[], byte[]> records; public KafkaConsumerSimple(String title, ConsumerRecords<byte[], byte[]> records) 阅读全文
posted @ 2018-05-06 18:42 Dlimeng 阅读(6) 评论(0) 推荐(0)
kafka系列--结构02
摘要：承接url:kafka系列--结构01 每个partition的数据如何保存到硬盘： 相等于一个巨型文件，被平均分配到多个大小相等segment(段)数据文件中。但每个段segment file 消息数量不一定相等，这种特性方便old segment file 快速删除。默认保留7天数据。 Log. 阅读全文
posted @ 2018-05-06 16:21 Dlimeng 阅读(8) 评论(0) 推荐(0)
kafka系列--结构02_李孟_新浪博客
摘要：承接url: kafka系列--结构01 每个partition的数据如何保存到硬盘： 相等于一个巨型文件，被平均分配到多个大小相等segment(段)数据文件中。但每个段segment file 消息数量不一定相等，这种特性方便old segment file 快速删除。默认保留7天数据。 Log 阅读全文
posted @ 2018-05-06 16:21 Dlimeng 阅读(8) 评论(0) 推荐(0)
kafka系列--结构01
摘要：整体结构： 1.Producer ：消息生产者，就是向kafka broker发消息的客户端。 2.Consumer ：消息消费者，向kafka broker取消息的客户端 3.Topic ：可以理解为一个队列。 4.Consumer Group （CG）：这是kafka用来实现一个topic消息的 阅读全文
posted @ 2018-05-05 20:15 Dlimeng 阅读(8) 评论(0) 推荐(0)
kafka系列--结构01_李孟_新浪博客
摘要：整体结构： 1.Producer ：消息生产者，就是向kafka broker发消息的客户端。 2.Consumer ：消息消费者，向kafka broker取消息的客户端 3.Topic ：可以理解为一个队列。 4.Consumer Group （CG）：这是kafka用来实现一个topic消息的 阅读全文
posted @ 2018-05-05 20:15 Dlimeng 阅读(8) 评论(0) 推荐(0)
kafka系列--简介
摘要：Kafka简介： 1.Apache Kafka是一个开源消息系统，由scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2. Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个 阅读全文
posted @ 2018-05-05 20:10 Dlimeng 阅读(12) 评论(0) 推荐(0)
kafka系列--简介_李孟_新浪博客
摘要：Kafka简介： 1.Apache Kafka是一个开源消息系统，由scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2. Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个 阅读全文
posted @ 2018-05-05 20:10 Dlimeng 阅读(11) 评论(0) 推荐(0)
kafka系列--安装
摘要：安装jdk略，zookeeper略 创建消息持久化目录 /mnt/hadoop/kafka/kafkaLogs 下载kafka wget http://www-eu.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz tar –zxvf ka 阅读全文
posted @ 2018-05-05 18:55 Dlimeng 阅读(6) 评论(0) 推荐(0)
kafka系列--生产者
摘要：消费生产者样例，kafka用的版本: pom文件 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>0.10.2.1</version> <exclusions> 阅读全文
posted @ 2018-05-05 17:57 Dlimeng 阅读(12) 评论(0) 推荐(0)