摘要: storm系统架构 storm 是什么的:分布式 && 实时 计算系统 Nimbus:负责资源分配和任务调度。 Supervisor:负责接受nimbus分配的任务,启动和停止属于自己管理的worker进程。 Worker:运行具体处理组件逻辑的进程。 Task:worker中每一个spout/bo 阅读全文
posted @ 2019-06-24 19:37 虎呗 阅读(238) 评论(0) 推荐(0) 编辑
摘要: 结合zookeeper详细说明CAP定理 一致性:写操作之后的读操作,必须返回该值 可用性:只要收到用户的请求,服务器就必须给出回应,节点故障不影响使用 分区容错性:在过半机制下丢掉一个server不影响集群的启动和工作 详述zookeeper的广播模式和恢复模式 Zookeeper的核心是原子广播 阅读全文
posted @ 2019-06-20 20:26 虎呗 阅读(330) 评论(0) 推荐(0) 编辑
摘要: redis五种数据类型操作,重点是string类型和hash类型 字符串(String) 设置字符串值 set 获取值get EX 设置过期时间,秒,等同于SETEX key seconds value PX 设置过期时间,毫秒,等同于PSETEX key milliseconds value NX 阅读全文
posted @ 2019-06-20 20:19 虎呗 阅读(136) 评论(0) 推荐(0) 编辑
摘要: hadoop-hdfs-API 在windows上部署hadoop包 windows配置环境变量 hadoop的bin目录,HADOOP_USER_NAME root 配置eclipse,从Linux上拉取core-sit.xml,hdfs-site.xml文件 java代码 Configurati 阅读全文
posted @ 2019-06-17 08:44 虎呗 阅读(163) 评论(0) 推荐(0) 编辑
摘要: Mapreduce执行过程 splitSize=Mash.max(minSize,Math.min(maxSize,blockSize)) 数据块大小一般与分片大小相同 Block数据块 分片 FileSplit FilrInputFormat 继承,重写可以设置字节的K.V 分片 K.V(一条数据 阅读全文
posted @ 2019-06-13 20:40 虎呗 阅读(151) 评论(0) 推荐(0) 编辑
摘要: 配置 hadoop-env.sh (hadoop环境) etc/hadoop/core-site.xml: <property> <name>fs.defauletFS</name>规划namenode在哪启动 <value>hdfs://node01:9000</value> </property 阅读全文
posted @ 2019-06-13 08:41 虎呗 阅读(258) 评论(0) 推荐(0) 编辑
摘要: hadoop简单介绍及架构设计 集群 并行:提升速度的关键 计算向数据移动 分布式。分而治之。并行计算 HDFS 存储模型:字节 文件线性切割成块(Block):偏移量 offset (面对原文件的索引) Block分散存储在集群节点中 单一文件Block大小一致,最后一块可能分配不均 副本: 副本 阅读全文
posted @ 2019-06-11 21:04 虎呗 阅读(485) 评论(0) 推荐(0) 编辑
摘要: nginx 高性能的HTTP 反向代理服务器 面向服务:1,连接成功:2,3秒(用户体验) 目录树结构 《淘宝十年》 nginx能够支持5万并发链接 apache是同步多进程模型,一个连接对应一个进程;nginx是异步的,多个连接(万级别),进程数与CPU物理核心数相等。 tar zxvf teng 阅读全文
posted @ 2019-06-11 10:09 虎呗 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 文本流&重定向 man bash 解释从命令行或者从文本读取的命令 ls / echo "hello" echo $$ source sh01.sh 读取当前文本文件命令 . sh01.sh 读取当前文本文件命令 pstree 查看bash命令关系 bash sh01.sh 在子bash运行文件 t 阅读全文
posted @ 2019-06-09 18:50 虎呗 阅读(1038) 评论(0) 推荐(0) 编辑
摘要: Linux软件安装 rpm包:软件包,已经编译完成,并且已经指定安装环境,打成一个rpm。但是没有解决依赖问题。 rpm -ihv 安装包名称 rpm -qa 所有的软件包 rpm -qa|grep jdk 查找JDK yum:用来管理rpm的软件。yum源(yum库),存放rpm的依赖资源,分为本 阅读全文
posted @ 2019-06-05 19:39 虎呗 阅读(247) 评论(0) 推荐(2) 编辑