会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
HandsomeEric
博客园
首页
新随笔
联系
管理
订阅
上一页
1
2
3
下一页
2019年7月17日
Scala --Actor通信模型概述
摘要: 1) Actor模型中使用了Akka协议信息传输。 2) 在基于 Actor的系统里,所有的事物都是 Actor,就好像在面向对象设计里面所有的事物都是对象一样。 3) Actor模型是作为一个并发模型设计和架构的。Actor与Actor之间只能通过消息通信,如图中的MailBox. 4) Acto
阅读全文
posted @ 2019-07-17 20:28 HandsomeEric
阅读(519)
评论(0)
推荐(0)
2019年7月15日
Hadoop项目调优
摘要: 一、调优的目的 充分的利用机器的性能,更快的完成mr程序的计算任务。甚至是在有限的机器条件下,能够支持运行足够多的mr程序。 二、调优的总体概述 从mr程序的内部运行机制,我们可以了解到一个mr程序由mapper和reducer两个阶段组成,其中mapper阶段包括数据的读取、map处理以及写出操作
阅读全文
posted @ 2019-07-15 08:53 HandsomeEric
阅读(512)
评论(0)
推荐(0)
2019年7月12日
Python基础教程资料
摘要: 第一章Python的介绍 1、python介绍 一种面向对象,面向函数的解释型计算机程序设计语言,由荷兰人Guido van Rossum于1989年发明,第一个公开发行版发行于1991年。Python是纯粹的自由软件, 源代码和解释器CPython遵循 GPL(GNU General Public
阅读全文
posted @ 2019-07-12 20:05 HandsomeEric
阅读(309)
评论(0)
推荐(0)
2019年7月7日
大数据生态组件常用服务端口
摘要: 常见端口汇总:Hadoop: 50070:HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 19888:j
阅读全文
posted @ 2019-07-07 22:03 HandsomeEric
阅读(264)
评论(0)
推荐(0)
2019年7月3日
HBase性能优化总结
摘要: HBase性能优化方法总结(一):表的设计 1. 表的设计 1.1 Pre-Creating Regions 默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直到这个region足够大了才进行切分。一种可以加快
阅读全文
posted @ 2019-07-03 14:19 HandsomeEric
阅读(682)
评论(0)
推荐(0)
2019年7月2日
Hbase架构,组件分析 ,Hbase集群搭建
摘要: 1.hbase的架构 Hbase主要由master,regionserver,zookeeper,client,hdfs文件系统构成. Zk:记录hbase的表的元数据信息 hamster:进行region的分配,发出操作指令 Hlog:记录HregionServer的操作日志,保证数据的可靠性 H
阅读全文
posted @ 2019-07-02 08:38 HandsomeEric
阅读(924)
评论(0)
推荐(0)
2019年6月28日
Storm的tuple处理的事务机制 kafka常用操作命令
摘要: flume的作用是什么?列出常见的flume的操作 kafka的常用操作 storm事务总结? storm保证消息仅被处理一次的机制?
阅读全文
posted @ 2019-06-28 08:50 HandsomeEric
阅读(323)
评论(0)
推荐(0)
2019年6月25日
Storm集群架构及计算模型分析总结
摘要: 1. 详述storm系统架构 Storm架构由四个部分组成: (1)Nimbus: 集群资源调度、任务分配、接收jar包; (2)Supervisor 接收nimbus分配的任务、启动、停止自己管理的worker进程(当前supervisor上worker数量由配置文件设定) (3)Worker 运
阅读全文
posted @ 2019-06-25 09:26 HandsomeEric
阅读(563)
评论(0)
推荐(0)
2019年6月20日
zookeeper的选举机制
摘要: zookeeper的选举机制 1)半数机制:集群中半数以上机器存活,集群可用。所以Zookeeper适合安装奇数台服务器。 2)Zookeeper虽然在配置文件中并没有指定Master和Slave。但是,Zookeeper工作时,是有一个节点为Leader,其他则为Follower,Leader是通
阅读全文
posted @ 2019-06-20 20:22 HandsomeEric
阅读(3162)
评论(0)
推荐(1)
2019年6月17日
HDFS-HA集群及YARN环境搭建相关配置
摘要: HDFS-HA集群配置 1 环境准备 1. 修改IP 2. 修改主机名及主机名和IP地址的映射 3. 关闭防火墙 4. ssh免密登录 5. 安装JDK,配置环境变量等 2 规划集群 表1 hadoop102 hadoop103 hadoop104 NameNode NameNode Journal
阅读全文
posted @ 2019-06-17 09:01 HandsomeEric
阅读(589)
评论(0)
推荐(0)
上一页
1
2
3
下一页
公告