随笔分类 -  分布式/云计算

分布式集群和云计算资料整理
 
使用kafka和zookeeper 构建分布式编译环境
摘要:1:在每台机器上安装jdk, 脚本代码如下: 每一个机器上下载jdk,zookeeper,kafka 链接:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html http://mirr 阅读全文
posted @ 2018-11-21 21:40 都是一家人 阅读(314) 评论(0) 推荐(0)
负载均衡算法与实现
摘要:算法1:轮询 算法2:加权轮询,加权轮询是在轮询的基础上,根据服务器的性能差异,为服务器赋予一定的权值。服务器 1 被赋予的权值为 5,服务器 2 被赋予的权值为 1,那么 (1, 2, 3, 4, 5) 请求会被发送到服务器 1,(6) 请求会被发送到服务器 2。 算法3:最少连接 算法4:加权最 阅读全文
posted @ 2018-09-22 21:03 都是一家人 阅读(182) 评论(0) 推荐(0)
分布式锁设计方案
摘要:方案1:数据库的唯一 原理:当想要获得锁时,就向表中插入一条记录,释放锁时就删除这条记录。唯一索引录只被插入一次,那么就可以用这个记录是否存在来判断是否存于锁定。 存在的问题 锁没有失效时间,解锁失败的话其他线程无法再获得锁。 只能是非阻塞锁,插入失败直接就报错了,无法重试。 不可重入,已经获得锁的 阅读全文
posted @ 2018-09-21 22:12 都是一家人 阅读(523) 评论(0) 推荐(0)
ACID/CAP/BASE 理论知识
摘要:ACID是事务的四大特性,想要成为事务,必须具备这四点。 Atomicity 原子性体现在对于一个事务来讲,要么一起执行成功要么一起失败,执行的过程中是不能被打断或者执行其他操作的。 Consistency 一致性表现为事务进行过后和执行前,整体系统都是稳定的,比如对于入账出账操作是不会有总资金的变 阅读全文
posted @ 2018-09-21 14:27 都是一家人 阅读(343) 评论(0) 推荐(0)
分布式ID设计方案
摘要:分布式ID的定义: 方案1:使用数据库递增的顺序 最常见的方式。利用数据库,全数据库唯一。 优点: 1)简单,代码方便,性能可以接受。 2)数字ID天然排序,对分页或者需要排序的结果很有帮助。 缺点: 1)不同数据库语法和实现不同,数据库迁移的时候或多数据库版本支持的时候需要处理。 2)在单个数据库 阅读全文
posted @ 2018-09-20 22:37 都是一家人 阅读(838) 评论(1) 推荐(1)
[rancher-net]
摘要:ip rule命令 rancher网络全解读 arp命令查询 rancher managed network 实践 docker自定义网桥 iptables增删改查 shell脚本调试技术 阅读全文
posted @ 2018-01-29 17:11 都是一家人 阅读(142) 评论(0) 推荐(0)
rancher中使用ingress-lbs做负载均衡
摘要:rancher 相关资料 http://rancher.com/docs/rancher/v1.6/zh/kubernetes/ingress/ lvs, haproxy, nginx负载均衡器比较 http://www.jianshu.com/p/184243e36318 阅读全文
posted @ 2017-11-28 20:14 都是一家人 阅读(985) 评论(0) 推荐(0)
docker从初识到深入
摘要:1:使用docker有哪些优势: 更快交付你的应用(Faster delivery of your applications) 让部署和测试更简单(Deploying and scaling more easily) 实现更高密度和更多的负载(Achieving higher density and 阅读全文
posted @ 2017-11-17 14:09 都是一家人 阅读(236) 评论(0) 推荐(0)
关于容器技术的发展以及虚拟化技术的总结
摘要:容器技术发展历程: 1979年 — chroot -> 2000年 — FreeBSD Jails -> 2001年 — Linux VServer -> 2004年 — Solaris容器 -> 2005年 — OpenVZ -> 2006年 — Process容器 -> 2007年 — Cont 阅读全文
posted @ 2017-11-16 17:51 都是一家人 阅读(1253) 评论(0) 推荐(0)
IasS,CasS,PasS,SasS的区别
摘要:IasS: (Infrastructure-as-a-Service(基础设施即服务)) 租用的是硬件,服务器,物理机等 CasS: (container as a Service) 容器服务 租用的是容器,以docker技术为代表 PasS:(Platform-as-a-Service(平台即服务 阅读全文
posted @ 2017-11-02 10:10 都是一家人 阅读(4521) 评论(0) 推荐(0)
Kubernetes资源监控探索
摘要:搭建kubernetes集群,有一个默认的dashboard,但是这个dashboard比较简陋,不能将自定义展示。所以打算使用Grafana+Heapster+Influxdb构建一个一体化监控平台 首先呢?从https://github.com/kubernetes/heapster获取源码,在 阅读全文
posted @ 2017-09-16 14:24 都是一家人 阅读(1044) 评论(0) 推荐(0)
基于Nutch Solr等基于搭建一体化的数据抓取平台
摘要:参考链接:https://www.ibm.com/developerworks/cn/opensource/os-cn-BigInsightsNutchSolr/ 阅读全文
posted @ 2017-08-03 15:51 都是一家人 阅读(226) 评论(0) 推荐(0)
docker 安全性问题
摘要:最近项目组成员要在k8s中引入类似于docker --privileged 的功能。显示通过api查询在container和pod层面做了securityContext的设置。 但是没有起到效果。于是想到k8s中Pod和container是通过kubelet进行创建和管理的,那么kubelet应该有 阅读全文
posted @ 2017-06-08 16:47 都是一家人 阅读(370) 评论(0) 推荐(0)
kubernetes 环境搭建(ubuntu16.04)
摘要:通过kubeadm安装kubernetes的教程:1: 首先在每台机器上安装: docker(1.12), kubeadm(1.6), kubectl, kubelet, kubernetes-cniapt-get update && apt-get install -y apt-transport 阅读全文
posted @ 2017-05-11 15:20 都是一家人 阅读(469) 评论(0) 推荐(0)