itxiaoshen博客

摘要： 本篇实战Hudi集成Flink SQl编程示例实现从生成器表写入Hudi表，打包集群验证；然后通过Hudi Flink CDC实现采集MySQL binlog日志写入Kafka再入到hudi表的完整示例，了解Hudi Flink的基础调试只是，最后通过Hudi集成Hive实现Flink Hive Catalog双写同步Hive过程。 阅读全文

摘要： 本篇演示了Hudi集成Spark的Scala编程示例，并一步步操作说明如何使用DeltaStreamer从Kafka里读取数据写入到Hudi表的HDFS中，接着集成Flink的环境准备，通过基于yarn-session的Flink的sql-client方式提交任务实现插入数据和流式读取数据，了解字节贡献的Bucket索引和Hudi Catalog。 阅读全文

摘要： 本篇详细描述hoodie数据读写流程，进一步加深对数据湖技术的理解。理论后转战集成Spark的使用，通过spark-shell和spark-sql实现hoodie的插入数据、查询数据、更新数据、删除数据、覆盖数据、时间旅行查询等示例，了解创建表、修改表结构、查询分区、删除分区基本用法，为进一步使用奠定基础。 阅读全文

摘要： 湖仓一体时代来临解决大数据企业发展过程Lambada、Kappa架构的诸多痛点，三大数据湖技术Iceberg、Hudi、Delta Lake发展迅速，本篇则以学习功能较为齐全Hudi 数据湖入手，了解其特性和使用场景，一步步操作编译安装Hudi最新版本0.12.1，并初步了解时间轴、文件布局、索引、表类型、查询类型核心概念。 阅读全文

摘要： 通过上一篇对Zabbix基础和原理有一定理解，本篇则着重从多个实战示例一步步演示如何使用，可直接用于生产环境使用，内容覆盖源码安装、Zabbix Agent2部署、分布式架构Zabbix Proxy的使用、自定义监控、触发器、图形、模板、snmp监控、自动发现、主动注册、JMX监控等完整示例。 阅读全文

摘要： 前面研究过最主流的容器化监控Prometheus，今天再来聊聊善于监控网络、物理机、虚拟机等的老牌成熟开源监控方案Zabbix（6.2）及其总体架构，并与小米开源Open-falcon做对比分析；企业如何正确选择其版本，最后快速部署Zabbix并实现一个Agent主机的入门示例。 阅读全文

摘要： Java技术栈伙伴已深知SpringCloud Alibaba微服务一站式解决方案，今天力推腾讯强势开源微服务治理框架PolarisMesh，与前者Alibaba一样也支持SpringCloud Tencent框架整合，开篇先从亮点和性能上对比其他微服务治理框架，初步了解架构原理概况，并通过二进制安装Polaris集群，最后通过一个SpringCloud Tencent整合demo演示了服务的注册和发现、配置中心动态配置。 阅读全文

摘要： 如果你还在头疼数据分析多组件、多集群跨域等问题，推荐研究下华为开源的openlookeng，能够解决企业在面向大数据应用面临的用数难、找数难、取数难的痛点，本篇从openlookeng背景和架构开始，理解其关键技术和应用场景，最后通过安装openlookeng的集群，利用命令行接口验证MySQL和ClickHouse两种连接器的配置。 阅读全文

摘要： SpringBoot启动速度慢、打包体积大、内存要求高等不适合某些轻量级高并发的业务场景，在云原生百家争鸣的时代，解决上述问题国人开源Solon框架为Java轻量开发框架，官网全中文文档学习成本低。本篇从Solon简介开始，对比官网提供各项性能数据，通过官网提供文档和诸多开发示例代码动手实操演示的Solon Web、Solon Myabtis-Plus、Solon WebSocket、Solon Remoting RPC、Solon Cloud Nacos代码使用和效果展示。 阅读全文

摘要： 不用再担心SpringBoot启动慢和内存占用大的困惑了，为K8S云原生Quarkus轻松实现快、省、灵活的特性，本篇了解Quarkus优势和性能，并从quarkus工程创建开始，实现简单编码、普通jar打包、打包二进制文件和可跨平台直接运行二进制文件，并制作成docker镜像运行验证。 阅读全文