随笔分类 - 软件
摘要：引入布隆过滤器 原理 布隆过滤器误差率 本地布隆过滤器 redis单机布隆过滤器 redis分布式布隆过滤器 问题： 现有50亿个电话号码，现有10万个电话号码，要快速准确地判断这些号码是否存在？- 通过数据库查询， 速度很慢- 将数据全部放在集合中， 50亿*8字节 = 40GB 内存浪费- hy
阅读全文
posted @ 2020-05-19 22:51
慕沁
摘要：高性能消息队列（科学 上网）nsqlookupd 节点信息，提供查询和管理topic等服务，4160 4161nsqadmin 界面 4171nsqd 节点 nsqd连接成功nsqlookupd后，会初始化topic、channal的元数据，获取nsqlookupd信息; 之后nsqd每隔15s向n
阅读全文
posted @ 2020-04-17 16:34
慕沁
摘要：Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储。 高性能 a. 摒弃了传统的集中式存储元数据寻址的方案，采用CRUSH算法，数据分布均衡，并行度高。 b.考虑了容灾域的隔离，能够实现各类负
阅读全文
posted @ 2020-02-22 17:16
慕沁
摘要：mesos上负责长任务处理的Framework，也就是所谓的服务调度框架。 marathon设计之初的目标是让shell命令都能通过marathon远程调度，并保存长任务进程持续进行。有web界面 # 重要概念Application definition 长服务的定义，规定了APP启动和运行时的所有
阅读全文
posted @ 2020-02-01 15:22
慕沁
摘要：mesos资源管理器 使用ZooKeeper作为其高可用的保障，他通过 ZooKeeper在多个Mesos管理节点中选出一个master，并通过ZooKeeper完成健康侦测功能。 开源分布式资源管理框架，它被称为是分布式系统的内核，目标是在不同的framework之间高效的共享硬件资源，同时简化自
阅读全文
posted @ 2020-02-01 13:41
慕沁
摘要：一种分布式应用所涉及的高可用、高性能且一致的开源 分布式协调服务，分布式应用程序可基于ZooKeeper实现诸如数据发布/订阅、 命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。2181端口 Hadoop HBase MesosKafka 高可用保障 健康侦测 集
阅读全文
posted @ 2020-02-01 13:39
慕沁
摘要：下载 官方下载链接：https://www.elastic.co/cn/downloads/kibana 请根据需求下载对应的版本。 注意注意注意：Kibana与Elasticsearch的版本要相互对应，否则可能不兼容！！！ 例如：Elasticsearch是7.2.1的版本，那么你的Kibana
阅读全文
posted @ 2020-01-29 14:34
慕沁
摘要：https://kafka.apache.org/intro broker 节点 topic partition leader follower consumer group 1、生产者从kafka集群获取分区leader信息 2、生产者将消息发送给leader 3、leader将消息写入本地磁盘
阅读全文
posted @ 2020-01-26 14:06
慕沁
摘要：""" # ############################## 生成器 ############################################## (i for i in [1,2,3,4]) # 惰性加载 a = range(10) # 生成器对象 def shorten(): string_list = list('abcdefg')...
阅读全文
posted @ 2019-03-18 09:02
慕沁
摘要：解决跨域问题 配置文件解析 反向代理实例 负载均衡实例 下面主要验证最常用的三种负载策略。虚拟主机配置： 轮询策略 权重策略 ip hash策略 其他负载均衡策略 重定向rewrite 转自：https://mp.weixin.qq.com/s?__biz=MzAxNDc4MTQ5Ng==&mid=
阅读全文
posted @ 2019-02-17 21:33
慕沁
摘要：rpm -ivh gitlab-ce-10.2.2-ce.0.el7.x86_64.rpm vim /etc/gitlab/gitlab.rb # external_url 'http://127.0.0.1' gitlab-ctl reconfigure gitlab-ctl restart gi
阅读全文
posted @ 2018-12-14 09:10
慕沁
摘要：Keepalived的作⽤是检测服务器的状态，如果有⼀台web服务器宕机，或⼯作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使⽤其他服务器代替该服务器的⼯作，当服务器⼯作正常后Keepalived⾃动将服务器加⼊到服务器群中，这些⼯作全部⾃动完成，不需要⼈⼯⼲涉，需要
阅读全文
posted @ 2018-12-12 14:44
慕沁
摘要：哈希一致性算法 集群中，数据如何均匀的存储在多台服务器中1、hash(key) %len(服务器) 问题：机器数量变动，会有大量的数据移动 2^32 65535 槽位用来挂载机器；当机器变动时，只会移动与当前机器绑定的操作与相邻槽位机器之间的数据移动； -->哈希环上散列的值越多（经验 环1000+
阅读全文
posted @ 2018-11-29 20:03
慕沁
摘要：SVN使用教程总结 SVN简介： 为什么要使用SVN？ 公司多人协同开发有需要，类似于GIT, 关于git可以看我之前的博客git的使用[转]，也可以看网上的廖雪峰写的博客。 Subversion是什么？ 它是一个自由/开源的版本控制系统，一组文件存放在中心版本库，记录每一次文件和目录的修改，Sub
阅读全文
posted @ 2018-11-29 17:40
慕沁
摘要：1、相同server_name多个虚拟主机优先级访问 2、location匹配优先级 3、try_files使用 4、alias和root区别 5、用什么方法传递用户的真实IP 6、其他 413 Request Entity Too Large 用户上传文件限制client_max_body_siz
阅读全文
posted @ 2018-11-21 11:26
慕沁
摘要：安全链接模块 secure_link_module 进行了秘钥，一系列信息，过期时间的加密，md5不可逆 geoip_module模块 基于IP地址匹配MaxMind GeoIP二进制文件，读取ip所在地域信息 不同地域的ip访问不同的服务器 默认安装没有安装，yum install nginx-m
阅读全文
posted @ 2018-11-20 22:26
慕沁
摘要：nginx nginx火的原因 一个线程内程序交替执行 select、poll、epoll select: 1）能够监视文件描述符的数量存在最大限制 2）线性扫描效率低 epoll: linux内核2.6以后对select进行的优化 1)每当FD就绪采用系统的回调函数将FD放入、效率高 2)最大连接
阅读全文
posted @ 2018-11-19 08:46
慕沁
摘要：注意： 特点： 简单 高效 集中 可扩展 组成： supervisord:服务器部分（监督者） supervisorctl：客户机部分 Web Server xml-rpc接口 安装： # 主要修改以下内容 一个例子 确保配置无误后可以再每台主机上使用以下的命令启动supervisor的服务端sup
阅读全文
posted @ 2018-11-10 19:07
慕沁
摘要：常用工具有svn,git 帮助用户实现版本控制的软件本地协议1： /path/repo.git本地协议2： file:///path/repo.githttp/https协议： 。。。ssh协议： user@git-server.com:path/repo.git 以git为例 常用命令 git i
阅读全文
posted @ 2018-09-16 20:38
慕沁
浙公网安备 33010602011771号