风-fmgao

摘要： Java平台和语言最开始只是SUN公司在1990年12月开始研究的一个内部项目： Java的平台无关性 Java平台和语言最开始只是SUN公司在1990年12月开始研究的一个内部项目[stealth 秘密行动],主要研究：交互式电视、烤面包箱等微型系统.Sun内部人员把这个项目称为Green Jam 阅读全文

摘要： JVM内存区域运行时数据区域分为两种： JVM内存区域 运行时数据区域分为两种: 线程隔离的数据区: 程序计数器 Java虚拟机栈 本地方法栈 所有线程程共享的数据区: Java堆 方法区 Java堆 方法区 JVM 内存区域 ———栈介绍 所谓 “栈”包括:Java虚拟机栈,本地方法栈,他们的作用 阅读全文

摘要： JVM系列最核心的文章没有之一： 引用 强引用 只要引用存在,垃圾回收器就永远不会回收。当内存空足，Java虚拟机宁愿抛出OutOfMemoryError //可直接通过obj取得对应的对象 如obj.equels(new Object()); 而这样 obj对象对后面new Object的一个强引 阅读全文

摘要： JVM 调优常见参数 JVM 学习思路 阅读全文

摘要： 本文主要介绍Kafka的安装与配置： 集群规划 datanode1datanode2datanode3 zk zk zk kafka kafka kafka kafka jar包下载地址 http://kafka.apache.org/downloads.html kafka集群安装部署 解压安装包 阅读全文

摘要： 消息队列的好处： 消息队列（Message Queue） 消息: 网络中的两台计算机或者两个通讯设备之间传递的数据。例如说：文本、音乐、视频等内容。 队列：一种特殊的线性表（数据元素首尾相接），特殊之处在于只允许在首部删除元素和在尾部追加元素。入队、出队。 消息队列：顾名思义，消息+队列，保存消息的 阅读全文

摘要： 本文主要介绍Kafka的shell命令： 查看当前服务器所有的topic 创建topic 删除topic 创建生产者发送消息 创建消费者接受消息 查看某一个topic的详情 阅读全文

摘要： Kafka技术内幕笔记： 分区模型 Kafka集群向多个消息代理服务器（brokerserver）组成，发布至Kafka集群的每条消息都有一个类别，用主题（topic）来表示。不同类型的数据，可以设置不同的主题。一个主题一般会有多个消息的订阅者，当生产者发布消息到某个主题时，订阅了这个主题的消费者都 阅读全文

摘要： Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统： Flume 介绍 Flume是由cloudera软件公司产出的高可用、高可靠、分布式的海量日志收集系统、聚合和传输的系统、于2009年被捐赠了apache软件基金会，为Hadoop相关组件之一。Flu 阅读全文

摘要： Hive的基本概念： Hive 简介 hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门 阅读全文

摘要： Hadoop的基本概念和分布式安装： Hadoop 简介 Hadoop 是Apache Lucene创始人道格·卡丁(Doug Cutting)创建的,Lucene是一个应用广泛的文本搜索库,Hadoop起源于开源网络搜索引擎Apache Nutch,后者是Lucene项目的一部分. Apache 阅读全文

摘要： HDFS的探究： HDFS HDFS是 Hadoop Distribute File System的缩写，是谷歌GFS分布式文件系统的开源实现，Apache Hadoop的一个子项目，HDFS基于流数据访问模式的分布式文件系统，支持海量数据的存储，允许用户将百千台组成存储集群，HDFS运行在低成本的 阅读全文

摘要： HDFS的shell操作和JavaAPI的使用： WEB WEB端口50090查看SecondaryNameNode信息。可以查看Hadoop的版本，NameNode的IP，Checkpoint等信息。 WEB端口50070可以查看HDFS的信息和目录结构 SHELL 查看 创建文件夹 新建文件 查 阅读全文

摘要： HDFS的六大高级特性： 安全模式 安全模式是HDFS所处的一种特殊状态，在这种状态下，文件系统只接受读数据请求，而不接受删除、修改等变更请求。在NameNode主节点启动时，HDFS首先进入安全模式，DataNode在启动的时候会向namenode汇报可用的block等状态，让NameNode得到 阅读全文

摘要： Hadoop的IO： Hadoop自带的一条原子操作作用域数据I/O操作,其中有一些技术比Hadoop更常用,如数据完整性保持和压缩在处理好几个TB级别的数据集时值得关注. 数据完整性 Hadoop用户不希望在存储和处理数据时丢失或损坏任何数据，但是当系统中需要处理数据量达到Hadoop处理极限时， 阅读全文

摘要： RPC远程过程调用： Hadoop的远程过程调用(Remote Procedure Call,RPC)是Hadoop中核心通信机制，RPC主要通过所有Hadoop的组件元数据交换，如MapReduce、Hadoop分布式文件系统(HDFS)和Hadoop的数据库(Hbase)。RPC是一种通过网络从 阅读全文

摘要： MapReduce基本原理和高性能网络下优化： Mapreduce概述 Mapreduce式谷歌开源的一项重要技术,是一个编程模型,用来进行大数据量的计算,对于大数据量的计算通常采用的处理方式式并行计算,对于许多开发者来说,自己完全实现一个并行计算程序难度太大.而MapReduce就是一种简化并行计 阅读全文

摘要： 《Hadoop权威指南》中的MapReduce工作机制和Shuffle： 框架 Hadoop2.x引入了一种新的执行机制MapRedcue 2。这种新的机制建议在Yarn的系统上，目前用于执行的框架可以通过mapreduce.framework.name属性进行设置，值“local“表示本地作业运行 阅读全文

摘要： MapReduce编程刨析： Map map函数是对一些独立元素组成的概念列表(如单词计数中每行数据形成的列表)的每一个元素进行指定的操作(如把每行数据拆分成不同单词,并把每个单词计数为1),用户可以自定义一个把数据拆分成不同单词并把单词计数为1的映射map函数),事实上每个元素都是被独立操作的,而 阅读全文

摘要： MapReduce 计数器、最值： 计数器 数据集在进行MapReduce运算过程中，许多时候，用户希望了解待分析的数据的运行的运行情况。Hadoop内置的计数器功能收集作业的主要统计信息，可以帮助用户理解程序的运行情况，辅助用户诊断故障。 这些记录了该程序运行过程的的一些信息的计数，如Map in 阅读全文

摘要： MapReduce Top N 、二次排序，MapJoin： TOP N 对于一组输入List(key,value),我们要创建一个Top N 列表,这是一种过滤模式,查看输入数据特定子集,观察用户的行为。 解决方案 key是唯一键，需要对输入进行额外的聚集处理，先把输入分区成小块，然后把每个小块发 阅读全文

摘要： HBase的基本概念和安装： Hbase简介 HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org 2006年Google发表BigTable白皮书 阅读全文

摘要： Hbase的数据模型和读写原理： ​ HBase是一个开源可伸缩的分布式数据库,他根据Google Bigtable数据模型构建在hadoop的hdfs存储系统之上。 ​ HBase是一个稀疏、多维度、排序的映射表。表的索引是行键、列族、列限定符和时间戳，一个列族中可以包含任意多个列，同一个列族里面 阅读全文

摘要： HBase的shell操作和JavaAPI的使用： Shell 表操作 创建表 插入表 查看表数据 查看表结构 更新指定字段 查看指定行数据 统计表行数 删除数据 删除rowkey的某一列 清空数据 删除表 表更表信息 Java API 环境准备 HBaseAPI 获取Configuration对象 阅读全文

摘要： Hbase 高可用、预先分区、布隆过滤器： 高可用 HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hmaster的高可 阅读全文

摘要： Zookeeper相关介绍和选举算法、应用场景等： Zookeeper 的简介 Zookeeper是一个开源的分布式的，一个针对大型分布式系统的可靠协调系统的Apache项目。 目标是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper已经成为Had 阅读全文

摘要： Zookeeper的分布式安装和API介绍： 安装教程 在datanode1、datanode2和datanode3三个节点上部署Zookeeper。 步骤 解压zookeeper安装包到/opt/module/目录下 /opt/module/zookeeper-3.4.10/这个目录下创建zkDa 阅读全文