bitbitbyte - 博客园

2020年5月26日

摘要：在redis的network设置中如果没有通过bind绑定ip, 并且也没有配置密码, 那么保护模式就开启, 只允许本机访问. 这里设置bind绑定ip, 绑定的一样是本机ip, 只是本机有多个ip, 选绑定. 而不是指白名单, 只有绑定后的主机才能访问该redis服务, 而是要想访问该redis只能通过该ip. 例如如果设置了band 127.0.0.1, 则只能通过该ip访问, 哪怕是loc... 阅读全文

posted @ 2020-05-26 07:57 bitbitbyte 阅读(3151) 评论(0) 推荐(0)

2020年5月24日

YARN调度架构中的AppMaster

摘要： YARN调度架构 esourceScheduler是YARN的调度器，负责Container的分配。 AsyncDispatcher是单线程的事件分发器，负责向调度器发送调度事件。 ResourceTrackerService是资源跟踪服务，主要负责接收处理NodeManager的心跳信息。 App 阅读全文

posted @ 2020-05-24 19:45 bitbitbyte 阅读(1013) 评论(0) 推荐(0)

git命令大全

摘要：概述 git安装好后, 可以在任何一个文件夹,右键打开Git Bash. 可以在该程序中直接运行linux命令或git命令 git工作机制的核心在于3个区: 工作区: 电脑的本地目录(该目录中有创建的.git目录) 暂存区: 暂存区的数据保存在.git/index文件中本地仓库: 一般从远程仓库通过clone创建, 之后可以通过pull保持与远程仓库的同步; 另一种方式是使用init在当... 阅读全文

posted @ 2020-05-24 15:24 bitbitbyte 阅读(340) 评论(0) 推荐(0)

Spark之Yarn Cluster运行机制内核源码解读

摘要：简介 Spark有3种集群管理器: Standalone Hadoop YARN 又分为yarn client与yarn cluser Apache Mesos 生产环境中一般使用yarn cluser模式个人理解 yarn主要有两个作用. 一个是创建Container以此来分配计算资源另外一个是在Container上运行ExecutorBackend建立起除yarn之外的... 阅读全文

posted @ 2020-05-24 10:33 bitbitbyte 阅读(466) 评论(0) 推荐(0)

YARN调度器的性能瓶颈

摘要： DataNode主机上的AppMaster向ResoureSchedule请求资源, ResoureSchedule 向 AppMaster 返回资源. 同时这个过程是异步的. AppMaster是一个yarn任务运行时第一个由RM启动的container，然后负责整个任务的运行，包括contain 阅读全文

posted @ 2020-05-24 10:30 bitbitbyte 阅读(469) 评论(0) 推荐(0)

2020年5月19日

kafka重新安装

摘要：重装需要删除zookeeper与kafka所有brokers的中相关目录删除zookeeper以下与kafka相关的各个目录登陆zookeeper bin/zkCli.sh -server node01:2181,node02:2181,node03:2181 注意-server需要设置为整个集阅读全文

posted @ 2020-05-19 21:25 bitbitbyte 阅读(830) 评论(0) 推荐(0)

2020年5月4日

scala中的特殊符号:下划线_

摘要：导包, 通配符 _ import java.util.Math._ 屏蔽类 import java.util.{Hashmap => _, _} 给可变参数传值时, 展开 foo(arr:_*) 元组元素访问 t._1 函数参数的占位符 reduce(_ + _) 方法转函数 val f = foo 阅读全文

posted @ 2020-05-04 06:50 bitbitbyte 阅读(208) 评论(0) 推荐(0)

2020年5月1日

scala之函数式编程根本概念-纯函数

摘要：什么是纯函数纯函数是函数式编程中的一个根本概念. 纯函数要求一个函数输入对应输出, 没有其它任何副作用, 且引用透明. 过程: 没有返回值, 只有副作用的函数一个纯函数有以下要求: 没有副作用不向控制台打印不向文件写入数据不更改外部变量不向其它文件系统写入数据引用透明这个函数执行结果阅读全文

posted @ 2020-05-01 09:02 bitbitbyte 阅读(185) 评论(0) 推荐(0)

2020年4月26日

scala之面向对象

摘要： 1. 要点类: 类中的字段自动带有getter方法和setter方法. 用@BeanProperty注解来生成JavaBean的getXxx/setXxx方法主构造器, 主构造器的参数直接构成类的字段辅构造器, 需要提前调用主构造器this() 权限修饰符 protected: 修饰类的成员, 阅读全文

posted @ 2020-04-26 21:49 bitbitbyte 阅读(212) 评论(0) 推荐(0)

2020年4月7日

博客搬至CSDN

摘要：现将blog搬迁至csdn, 特此声明. 阅读全文

posted @ 2020-04-07 12:10 bitbitbyte 阅读(117) 评论(0) 推荐(0)

公告