摘要：
1) Actor模型中使用了Akka协议信息传输。 2) 在基于 Actor的系统里，所有的事物都是 Actor，就好像在面向对象设计里面所有的事物都是对象一样。 3) Actor模型是作为一个并发模型设计和架构的。Actor与Actor之间只能通过消息通信，如图中的MailBox. 4) Acto 阅读全文
摘要：
一、调优的目的 充分的利用机器的性能，更快的完成mr程序的计算任务。甚至是在有限的机器条件下，能够支持运行足够多的mr程序。 二、调优的总体概述 从mr程序的内部运行机制，我们可以了解到一个mr程序由mapper和reducer两个阶段组成，其中mapper阶段包括数据的读取、map处理以及写出操作 阅读全文
摘要：
第一章Python的介绍 1、python介绍 一种面向对象，面向函数的解释型计算机程序设计语言，由荷兰人Guido van Rossum于1989年发明，第一个公开发行版发行于1991年。Python是纯粹的自由软件， 源代码和解释器CPython遵循 GPL(GNU General Public 阅读全文
摘要：
常见端口汇总：Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 19888：j 阅读全文
摘要：
HBase性能优化方法总结（一）：表的设计 1. 表的设计 1.1 Pre-Creating Regions 默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快 阅读全文
摘要：
1.hbase的架构 Hbase主要由master,regionserver,zookeeper,client,hdfs文件系统构成. Zk:记录hbase的表的元数据信息 hamster:进行region的分配,发出操作指令 Hlog:记录HregionServer的操作日志,保证数据的可靠性 H 阅读全文
摘要：
flume的作用是什么？列出常见的flume的操作 kafka的常用操作 storm事务总结？ storm保证消息仅被处理一次的机制？ 阅读全文
摘要：
1. 详述storm系统架构 Storm架构由四个部分组成: （1）Nimbus: 集群资源调度、任务分配、接收jar包； （2）Supervisor 接收nimbus分配的任务、启动、停止自己管理的worker进程（当前supervisor上worker数量由配置文件设定） （3）Worker 运 阅读全文
摘要：
zookeeper的选举机制 1）半数机制：集群中半数以上机器存活，集群可用。所以Zookeeper适合安装奇数台服务器。 2）Zookeeper虽然在配置文件中并没有指定Master和Slave。但是，Zookeeper工作时，是有一个节点为Leader，其他则为Follower，Leader是通 阅读全文
摘要：
HDFS-HA集群配置 1 环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK，配置环境变量等 2 规划集群 表1 hadoop102 hadoop103 hadoop104 NameNode NameNode Journal 阅读全文