11 2022 档案

容器技术基础
摘要：文章目录 进程隔离与限制隔离限制 容器镜像重新认识Dockerk8s本质 进程 容器本身没有价值，有价值的是“容器编排” 一旦“程序”被执行起来，它就从磁盘上的二进制文件，变成了计算机内存中的数据、寄存器里的值、堆栈中的指令、被打开的文件，以及各种设备的状态信息的一个集合。像这样一个程序运行起来后的 阅读全文
posted @ 2022-11-20 15:47 Dlimeng 阅读(27) 评论(0) 推荐(0)
开源数据中台目录汇总
摘要：文章目录 DataSphereStudio Linkis Scriptis Visualis Qualitis Streamis Exchangis DolphinScheduler DataModelCenter DataSphereStudio 《数据中台导读》 《DSS Dockerfile 阅读全文
posted @ 2022-11-16 17:57 Dlimeng 阅读(108) 评论(0) 推荐(0)
大数据和AI 论文目录汇总
摘要：文章目录 二十年的演变Google的三驾马车OLAP和OLTP批处理和流处理资源调度实战应用 二十年的演变 《Google论文、开源与云计算》 Google的三驾马车 《The Google File System》 《MapReduce 论文》 OLAP和OLTP 批处理和流处理 资源调度 实战应 阅读全文
posted @ 2022-11-16 17:38 Dlimeng 阅读(28) 评论(0) 推荐(0)
Kubernetes 目录汇总
摘要：文章目录 容器化概念Kubernetes 部署容器编排与k8s 作业管理k8s容器化持久化存储k8s 容器网络k8s容器运行时k8s 容器监控与日志开源社区 容器化概念 容器技术基础 Kubernetes 部署 容器编排与k8s 作业管理 k8s容器化持久化存储 k8s 容器网络 k8s容器运行时 阅读全文
posted @ 2022-11-16 12:34 Dlimeng 阅读(13) 评论(0) 推荐(0)
互斥锁
摘要：文章目录 一.原子问题 二.锁模型 三.解决方案 2.1 synchronized 四.保护资源 4.1 关系简介 4.2 保护没有关联关系的多个资源 4.3 保护有关联关系的多个资源 4.4 小结 一.原子问题 在并发编程Bug源头中介绍过，原子问题的源头是线程切换，解决方案禁用线程切换。 CPU 阅读全文
posted @ 2022-11-15 18:22 Dlimeng 阅读(20) 评论(0) 推荐(0)
MapReduce 论文
摘要：简介 2004 年发表了 MapReduce 的论文，是一个分布式计算的框架。 当你仔细了解 MapReduce 的框架之后，你会发现 MapReduce 的设计哲学和 Unix 是一样的，叫做“Do one thing, and do it well”，也就是每个模块只做一件事情，但是把这件事情彻 阅读全文
posted @ 2022-11-15 09:05 Dlimeng 阅读(69) 评论(0) 推荐(0)
The Google File System
摘要：文章目录 简介Master网络多写 简介 在这篇论文发表之前，工业界的分布式系统最多也就是几十台服务器的 MPI 集群。而这篇 GFS 的论文一发表，一下子就拿出了一个运作在 1000 台服务器以上的分布式文件系统。并且这个文件系统，还会面临外部数百个并发访问的客户端，可以称得上是石破天惊。 当然， 阅读全文
posted @ 2022-11-15 08:43 Dlimeng 阅读(15) 评论(0) 推荐(0)
信创生态下运维Linkis
摘要：文章目录 一.背景 二.国产化标准 三.数据安全分保密安全和企业安全 3.1 Hadoop栈 3.2 云趋势 四.Linkis运维 4.1 示例 一.背景 信创产业推进的背景在于，过去中国IT底层标准、架构、产品、生态大多数都由国外IT商业公司来制定，由此存在诸多的底层技术、信息安全、数据保存方式被 阅读全文
posted @ 2022-11-13 11:06 Dlimeng 阅读(35) 评论(0) 推荐(0)
从0到1开始运营你的开源产品
摘要：文章目录 简介开源运营经验知名度营造社区氛围与外部社区合作与公司合作持续运营与贡献基金会 简介 开源产品精简说需要合规和价值，不仅仅只有代码，还有社区运营。 开源运营经验 知名度 种子用户 产品找种子用户，非常重要，开放出来稳定版本，投放到社区，可以去相关调性产品，写issue让感兴趣的朋友去试试。 阅读全文
posted @ 2022-11-12 19:02 Dlimeng 阅读(18) 评论(0) 推荐(0)
文案的级别
摘要：“没人看广告。大家都只看自己感兴趣的东西——有时候碰巧是个广告而已。” 写文案、做沟通，都一定要记住这一点。 东东枪说，创意是idea，文案是对idea的表达。 策略idea是办法，是需要实现怎样的认知改变。 创意idea是看法，是如果要实现这样的认知改变，我们需要让他们感知到什么。 执行idea是 阅读全文
posted @ 2022-11-12 11:58 Dlimeng 阅读(18) 评论(0) 推荐(0)
Multi-Paxos不是一个算法，而是统称
摘要：简介 兰伯特提到的 Multi-Paxos 是一种思想，不是算法。而 Multi-Paxos 算法是一个统称，它是指基于 Multi-Paxos 思想，通过多个 Basic Paxos 实例实现一系列值的共识的算法（比如 Chubby 的 Multi-Paxos 实现、Raft 算法等）。 兰伯特关 阅读全文
posted @ 2022-11-09 03:06 Dlimeng 阅读(30) 评论(0) 推荐(0)
开源安全的危机在于太相信 GitHub？——专访Apache之父&OpenSSF基金会总经理Brain Behlendorf
摘要：文章目录 “ Apache 之父 ” 的成长之路《新程序员》：据了解，你的父母在科技领域工作，但你大学却并没有主修计算机，那时候的你对什么更感兴趣？后来又是什么引发了你对计算机编程的兴趣？《新程序员》：那么你第一次听说 Unix 操作系统时，对它有什么看法？《新程序员》：还记得自己写的第一个比较有趣 阅读全文
posted @ 2022-11-08 12:49 Dlimeng 阅读(19) 评论(0) 推荐(0)
Basic Paxos算法-如何在多个节点间确定某变量的值
摘要：1.Basic Paxos 是通过二阶段提交的方式来达成共识的。二阶段提交是达成共识的常用方式，如果你需要设计新的共识算法的时候，也可以考虑这个方式。 2.除了共识，Basic Paxos 还实现了容错，在少于一半的节点出现故障时，集群也能工作。它不像分布式事务算法那样，必须要所有节点都同意后才提交 阅读全文
posted @ 2022-11-07 21:25 Dlimeng 阅读(10) 评论(0) 推荐(0)
开源组件搭建完整的Kubernetes-Devops平台方案
摘要：文章目录 平台六大模块K8S自动化运维容器平台（Rancher + Kubernetes）CI/CD自动构建自动部署平台（Jenkins + Harbor + Helms）监控告警平台（Prometheus+Grafana）微服务ServiceMesh平台（Lstio）共享存储系统（Ceph/Glu 阅读全文
posted @ 2022-11-07 19:04 Dlimeng 阅读(88) 评论(0) 推荐(0)
数据中台导读
摘要：迷思 现在中台很火，拥有很多定义： 有些人觉得响应浪潮，有些其它的目的，比如，引流营销，融资等，把后端业务改造下形成独特“数据中台”。 有些人觉得数据中台，就是像微服务，大数据平台，Devops平台等等，诸如此类的技术平台。 有些人觉得更多得从组织架构入手，类似OKR，形成管理链路，自然形成产出链路 阅读全文
posted @ 2022-11-06 01:56 Dlimeng 阅读(8) 评论(0) 推荐(0)
Linkis thrift 需求文档
摘要：thrift文档 https://www.processon.com/view/link/63579c3c1efad425cd51bed6 密码：2xqZ hiveserver2执行逻辑 CLIService CLIService主要封装了处理命令的逻辑，一条命令发到HiveServer2后，Thr 阅读全文
posted @ 2022-11-06 01:54 Dlimeng 阅读(13) 评论(0) 推荐(0)
2022开源大数据热力报告总结
摘要：文章目录 如何定量分析“后Hadoop时代”开源项目和技术趋势热力值研究模型开源大数据热力的“摩尔定律”热力趋势一：用户需求多样化推动技术多元化热力趋势二：一体化演进迈入2.0时代热力趋势三：云原生大规模重构开源技术栈开源大数据项目热力TOP30TOP项目热力跃迁逻辑研究 如何定量分析“后Hadoo 阅读全文
posted @ 2022-11-05 21:39 Dlimeng 阅读(54) 评论(0) 推荐(0)
架构思想--基础架构
摘要：最近研究一些架构思想，看看李云华老师的专栏（从0开始学架构），做些笔记有些个人的思考。 一.基础架构 1.1简介 架构设计面临复杂度：高可用，可扩展，低成本，安全，规模。 架构设计主要目的为了解决软件系统复杂度带来的问题。 1.2高性能 1.2.1简介 水平维度和垂直维度分析。 单台计算机 升级软、 阅读全文
posted @ 2022-11-05 13:25 Dlimeng 阅读(18) 评论(0) 推荐(0)