摘要: 欢迎访问egonlin.com,为了满足购买资料同学在线阅读的需求,专门支持我的粉丝们上线一套学习平台,非卖品,感谢诸位支持 资料:https://egonlin.com/book.html 阅读全文
posted @ 2022-04-26 19:02 linhaifeng 阅读(158) 评论(0) 推荐(1) 编辑
摘要: 背景: 作为企业里唯一熟悉各种云产品的工种,通常需要和各种云产品打交道。当前,我们大部分的云基础设施和云服务都运行在阿里云上,而每个云产品都有独立的管理系统,这使得我们在运维过程中经常无法将相关产品和关联信息有效的组织在一起,来进行快速的问题诊断和信息查询,这对于运维和开发同学来说,在多个系统之间来 阅读全文
posted @ 2022-04-25 13:35 linhaifeng 阅读(29) 评论(0) 推荐(0) 编辑
摘要: 转载:https://www.kancloud.cn/pshizhsysu/kubernetes/2206258 Allocatable 资源预留 - 不设cgroup 资源预留 - 设置对应的cgroup 配置建议 总结 附录 参考 一 资源预留简介 kubelet中有几个参数,通过这几个参数可以 阅读全文
posted @ 2022-04-24 12:24 linhaifeng 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 原文:https://kubernetes.io/docs/tasks/administer-cluster/out-of-resource/ 一 问题现象服务器的磁盘空间爆满(90%以上),触发某种机制,导致大量pod处于被驱逐状态(Evicted),大部分镜像被删除,所有服务均不可用。 二 问题 阅读全文
posted @ 2022-04-24 10:40 linhaifeng 阅读(44) 评论(0) 推荐(0) 编辑
摘要: 储备知识:四表五链,表里有链,链里有规则 四表:raw>mangle>nat>filter 五链:input、output、forward、prerouting、postrouting https://www.cnblogs.com/linhaifeng/p/15979888.html 概念kube 阅读全文
posted @ 2022-02-17 16:51 linhaifeng 阅读(184) 评论(1) 推荐(0) 编辑
摘要: 林海峰,英文名egon,个人所有精力都在技术研究上,其余事项请找师娘 1、99元获取文章阅读密码 2、99元获取python基础到项目整套练习册与炫酷的答案(独家资料、仅限个人使用、抄袭侵权必究) 师娘微信号tutu19192010,二维码如下 练习册大纲例图 阅读全文
posted @ 2021-10-31 14:51 linhaifeng 阅读(1694) 评论(1) 推荐(1) 编辑
摘要: Kubernetes学习之路(一)之概念和架构解析与环境准备 Kubernetes学习之路(二)K8S证书介绍与CA证书的创建及分发 Kubernetes学习之路(三)之ETCD集群二进制部署 Kubernetes学习之路(四)之Mater节点二进制部署 Kubernetes学习之路(五)之Node 阅读全文
posted @ 2021-09-13 13:18 linhaifeng 阅读(1559) 评论(0) 推荐(1) 编辑
摘要: 第一篇:爬虫基本原理 第二篇:请求库之requests,selenium 第三篇:解析库之re、beautifulsoup、pyquery 第四篇:存储库之mongodb,redis,mysql 第五篇:爬虫高性能相关 第六篇:Scrapy框架 第七篇:分布式爬虫 第八篇:爬虫实战 以上内容视频讲解 阅读全文
posted @ 2018-01-08 09:49 linhaifeng 阅读(26708) 评论(8) 推荐(15) 编辑
摘要: 第一篇:初识数据库 第二篇:库相关操作 第三篇:表相关操作 第四篇:记录相关操作 第五篇:数据备份、pymysql模块 第六篇:视图、触发器、存储过程、函数、流程控制 第七篇:ORM框架SQLAlchemy 第八篇:索引原理与慢查询优化 第九篇:数据库事务 第十篇:数据库读现象 第十一篇:数据库锁机 阅读全文
posted @ 2017-08-14 09:24 linhaifeng 阅读(40706) 评论(0) 推荐(41) 编辑
摘要: 第一篇:python入门 第二篇:数据类型、字符编码、文件处理 第三篇:函数 第四篇:模块与包 第五篇:常用模块 第六篇:面向对象 第七篇:面向对象高级 第八篇:异常处理 第九篇:网络编程 第十篇:并发编程 第十一篇:Mysql系列 视频讲解与配套资料,文章末尾有获取方式,配套学习平台(非卖品,仅购 阅读全文
posted @ 2017-08-03 10:34 linhaifeng 阅读(251146) 评论(49) 推荐(179) 编辑
摘要: 一 GRE 1.1 概念 GRE全称是Generic Routing Encapsulation,是一种协议封装的格式,具体格式内容见:https://tools.ietf.org/html/rfc2784 协议封装指的是用一种格式的协议封装另一种格式的协议。如 1. TCP/IP协议可以看成是一种 阅读全文
posted @ 2017-04-15 23:59 linhaifeng 阅读(3814) 评论(0) 推荐(3) 编辑
摘要: 一 介绍 如果把linux操作系统比作一个大房子,那命名空间指的就是这个房子中的一个个房间,住在每个房间里的人都自以为独享了整个房子的资源,但其实大家仅仅只是在共享的基础之上互相隔离,共享指的是共享全局的资源,而隔离指的是局部上彼此保持隔离,因而命名空间的本质就是指:一种在空间上隔离的概念,当下盛行 阅读全文
posted @ 2017-04-01 18:23 linhaifeng 阅读(14975) 评论(1) 推荐(2) 编辑
摘要: 一 概述 概述:http://www.cnblogs.com/linhaifeng/articles/8004848.html 二 keystone系列 keystone基础 HTTP协议 网关协议cgi,fastcgi,wsgi,uwsgi keystone部署及操作 keystone源码分析更新 阅读全文
posted @ 2017-01-09 11:31 linhaifeng 阅读(10286) 评论(3) 推荐(5) 编辑
摘要: Completed的job默认不会清理Job在处于Completed后,默认是不会被清理的。 https://v1-16.docs.kubernetes.io/docs/concepts/workloads/controllers/jobs-run-to-completion/#job-termin 阅读全文
posted @ 2022-05-09 13:22 linhaifeng 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 1.概念作业,job,application,应用,都是同一个意思 Container: 容器,Yarn的组件,虚拟的概念将一定的内存CPU 比如 1G 1vcore资源抽象为一个小房间,来运行任务 2.yarn的资源调优参照这张图: ①内存方面:假如一台机器是64G物理内存,一般16物理core, 阅读全文
posted @ 2022-05-09 12:36 linhaifeng 阅读(11) 评论(0) 推荐(0) 编辑
摘要: 一. 运维 1. Master挂掉,standby重启也失效 Master默认使用512M内存,当集群中运行的任务特别多时,就会挂掉,原因是master会读取每个task的event log日志去生成Sparkui,内存不足自然会OOM,可以在master的运行日志中看到,通过HA启动的master 阅读全文
posted @ 2022-05-08 13:03 linhaifeng 阅读(7) 评论(0) 推荐(0) 编辑
摘要: 欢迎访问egonlin.com,为了满足购买资料同学在线阅读的需求,专门支持我的粉丝们上线一套学习平台,非卖品,感谢诸位支持 资料:https://egonlin.com/book.html 阅读全文
posted @ 2022-04-26 19:02 linhaifeng 阅读(158) 评论(0) 推荐(1) 编辑
摘要: 背景: 作为企业里唯一熟悉各种云产品的工种,通常需要和各种云产品打交道。当前,我们大部分的云基础设施和云服务都运行在阿里云上,而每个云产品都有独立的管理系统,这使得我们在运维过程中经常无法将相关产品和关联信息有效的组织在一起,来进行快速的问题诊断和信息查询,这对于运维和开发同学来说,在多个系统之间来 阅读全文
posted @ 2022-04-25 13:35 linhaifeng 阅读(29) 评论(0) 推荐(0) 编辑
摘要: 转载:https://www.kancloud.cn/pshizhsysu/kubernetes/2206258 Allocatable 资源预留 - 不设cgroup 资源预留 - 设置对应的cgroup 配置建议 总结 附录 参考 一 资源预留简介 kubelet中有几个参数,通过这几个参数可以 阅读全文
posted @ 2022-04-24 12:24 linhaifeng 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 原文:https://kubernetes.io/docs/tasks/administer-cluster/out-of-resource/ 一 问题现象服务器的磁盘空间爆满(90%以上),触发某种机制,导致大量pod处于被驱逐状态(Evicted),大部分镜像被删除,所有服务均不可用。 二 问题 阅读全文
posted @ 2022-04-24 10:40 linhaifeng 阅读(44) 评论(0) 推荐(0) 编辑
摘要: Helm小技巧之数字操作 数字迭代方法,通过replicas迭代时,可以通过until来支持迭代数字 #定义replicaCount {{- $replicaCount := int .Values.replicaCount}} {{- range $i, $e := until $replicaC 阅读全文
posted @ 2022-04-12 22:51 linhaifeng 阅读(38) 评论(0) 推荐(0) 编辑
摘要: k8s 调度 GPU 最近公司有项目想在 k8s 集群中运行 GPU 任务,于是研究了一下。下面是部署的步骤。 1. 首先得有一个可以运行的 k8s 集群. 集群部署参考 kubeadm安装k8s 2. 准备 GPU 节点 2.1 安装驱动 1 2 3 4 5 curl -fsSL https:// 阅读全文
posted @ 2022-04-07 12:54 linhaifeng 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 在docker容器中使用显卡 一 docker19.03以前的事情 1.1 指定显卡硬件名 最初的容器中使用显卡,需要指定硬件名。经历了两种方式1. 使用lxc驱动程序运行docker守护进程,以便能够修改配置并让容器访问显卡设备(非常麻烦,参考链接中最久远的回答)2. Docker 0.9中放弃了 阅读全文
posted @ 2022-04-06 20:14 linhaifeng 阅读(157) 评论(0) 推荐(0) 编辑