itxiaoshen博客

摘要： 一个可以快速安装和管理多K8S集群强大工具Rancher，虽然也有其他如Openshift、Kubesphere、Sealos，还是强烈推荐生产环境直接选用Rancher，本篇从部署Rancher本身开始，一步步基于Rancher搭建一个新的K8S集群的详细操作步骤和常见功能介绍，最后部署一个Deployment的Nginx应用和动态扩缩容的演示示例。 阅读全文

摘要： 有Sqoop和DataX之类数据处理为何还要用Apache SeaTunnel，这就要得益于Apache SeaTunnel依赖Flink和Spark天然分布式处理数据的特性，前两者是单机同步数据不适于海量数据同步，以低代码方式用配置文件就可以启动Flink数据处理应用，本篇从基本概念和原理入手，并通过部署SeaTunnel演示了多个基于Flink的Source和Sink配置，基本掌握如何编写配置使用。 阅读全文

摘要： 全篇通过依赖Hadoopz最新版本3.3.4部署Flink最新版本1.15.1的实战操作，针对Standalone 单机部署、Standalone 集群部署、Standalone 单机部署 HA部署的操作步骤结合演示示例深入理解Flink的丰富安装模式，全篇重点在针对生产Flink On Yarn模式，以Flink On Yarn从部署原理、流程和示例完整操作流程说明的角度分别演示会话（Session）模式、单作业（Per-Job）模式、应用（Application）模式形成深刻的理解。 阅读全文

摘要： 基于JDK11的Flink最新版本v15.1，以官网最新文档入手，从为何选择使用Flink为引导线，介绍实时数仓的演变历程，对比Flink和Spark的差异和竞争力。进一步剖析其系统架构、通过无界和有界数据理解，加深对流式分析的认识，了解三大运行模式适用场景，最后理解作业提交完整流程，为下一篇Flink部署和任务提交奠定基础 阅读全文

摘要： 本篇从Hadoop发行版本历史开始，延伸至其生态说明，了解总体组成部分和架构，通过实战部署最新版本3.3.4实现3个节点集群，并配置NameNode和ResourceManager的HA，最后测试完成HDFS文件读写和Yarn任务资源调度。... 阅读全文

摘要： 随着容器化成熟，Prometheus+grafana作为主流监控报警系统越来越被企业所青睐；本篇了解Prometheus的特性，熟悉其架构和组成部分，对其常见概念进行简单说明，其简易部署使得其更稳定更高效，通过docker和二进制两种部署方式搭建Prometheus server，熟悉其控制台常见功能；穿插了监控基础理论，部署Prometheus的两种数据采集exporter和pushgateway，并通过相应采集示例演示，通过一个对CPU监控采集和图形展示的示例了解到Prometheus强大数学支持，最后通过部署grafana实现一个抓取TCP waiting_connection美观的可视化展示。 阅读全文

摘要： 本篇为生产使用的MinIO配置Nginx代理，实战操作如何创建MinIO的用户和安全认证，通过配置MinIO的server信息开始，实操MC客户端常见的命令操作实现浏览桶、创建删除桶、文件上传下载等，最后通过编程SDK使用需求出发，通过Java客户端的实现文件上传下载的示例，最后以MinIO整合SpringBoot启动器的方式实现MinIO常见API的编程开发 阅读全文

摘要： 本篇先了解一个以快著称的云原生对象存储系统，上传下载对象速度只限制于网络带宽，体会强大又极简主义的设计，从MinIO特性和架构设计思想，熟悉其常见应用场景；实战MinIO的快速部署，最后以一个可用生产系统的4个节点每个节点4块磁盘的分布式高可用部署并体验了文件上传和下载的速度。 阅读全文

摘要： 本篇介绍新一代分布式任务工作流调度Apache DolphinScheduler总体架构和设计思想，使用shell工作流演示参数的使用、传递及其优先级，通过数据源管理演示ClickHouse SQL任务类型的工作流使用步骤，最后通过一个邮件告警示例使用DolphinScheduler更加放心... 阅读全文

摘要： 全新一代分布式工作流任务调度平台Apache DolphinScheduler，其为azkaban的完美替换品，本篇从实战目的出发先了解特性和组成部分，然后以二进制的方式部署2个Master3个Worker1个API和1个Alert的生产环境集群，介绍了其监控中心和安全中心必用功能，最后以一个简单的shell依赖工作流整理流程打开使用的大门。 阅读全文