dlimeng

摘要： 文章目录 平台六大模块K8S自动化运维容器平台（Rancher + Kubernetes）CI/CD自动构建自动部署平台（Jenkins + Harbor + Helms）监控告警平台（Prometheus+Grafana）微服务ServiceMesh平台（Lstio）共享存储系统（Ceph/Glu 阅读全文

摘要： 迷思 现在中台很火，拥有很多定义： 有些人觉得响应浪潮，有些其它的目的，比如，引流营销，融资等，把后端业务改造下形成独特“数据中台”。 有些人觉得数据中台，就是像微服务，大数据平台，Devops平台等等，诸如此类的技术平台。 有些人觉得更多得从组织架构入手，类似OKR，形成管理链路，自然形成产出链路 阅读全文

摘要： thrift文档 https://www.processon.com/view/link/63579c3c1efad425cd51bed6 密码：2xqZ hiveserver2执行逻辑 CLIService CLIService主要封装了处理命令的逻辑，一条命令发到HiveServer2后，Thr 阅读全文

摘要： 文章目录 如何定量分析“后Hadoop时代”开源项目和技术趋势热力值研究模型开源大数据热力的“摩尔定律”热力趋势一：用户需求多样化推动技术多元化热力趋势二：一体化演进迈入2.0时代热力趋势三：云原生大规模重构开源技术栈开源大数据项目热力TOP30TOP项目热力跃迁逻辑研究 如何定量分析“后Hadoo 阅读全文

摘要： 最近研究一些架构思想，看看李云华老师的专栏（从0开始学架构），做些笔记有些个人的思考。 一.基础架构 1.1简介 架构设计面临复杂度：高可用，可扩展，低成本，安全，规模。 架构设计主要目的为了解决软件系统复杂度带来的问题。 1.2高性能 1.2.1简介 水平维度和垂直维度分析。 单台计算机 升级软、 阅读全文

摘要： 问题一：软件供应链安全是一个很大的话题，今天我看各方对软件供应链安全的定义都不太一样，国内我看大家提SCA、开源安全治理更多一些，海外也在提一些更前沿的概念，比如基于sigstore技术实现的软件持续安全验证的产品Chainguard，不知道在座的各位，你们对于软件供应链安全的理解是什么样的？或者说 阅读全文

摘要： Thrift 介绍 2007 年前后，随着 Facebook 的业务发展，流量激增，服务之间的关系变得越来越复杂，他们的工程师开始尝试使用多种编程语言，来提升服务组合的性能、开发的简易性和速度，以及现有库的可用性，他们试图寻找一种透明的、高效的，并且能够沟通不同编程语言的协议框架。不过最后，Face 阅读全文

摘要： 1.java.lang.NoClassDefFoundError: org/apache/spark/Logging Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/Logging at java 阅读全文

摘要： 一.简介 DataSet API，对静态数据进行批处理操作，将静态数据抽象成分布式数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理。Flink先将接入数据（如可以通过读取文本或从本地集合）来创建转换成DataSet数据集，并行分布在集群的每个节点上；然后将DataSet数据 阅读全文

摘要： 文章目录 成长篇大数据工程师成长经验大数据技术思维养成经验 职场篇大数据领域未来趋势和职业方向大厂招聘的通用原则和面试技巧笔试/算法/编程考察意图和技巧职业发展 Q & A 成长篇 大数据工程师成长经验 基础 面向对象的编程语言（Java / Scala）SQL：https://www.w3scho 阅读全文