smiecj

摘要： 原文链接 前言：这里提到的错误，并不是那种“致命错误”，而是业务中的使用习惯的问题。如果不够了解语言的设计方式，导致使用习惯不当，可能就会引入一些设计不够好的代码。因此学习这些前人对使用方式的总结是很有帮助的。 话不多说，一起来看看都有哪些常见易犯的错误： 一、枚举默认值和json反序列化 先来看一 阅读全文

摘要： 项目 如果你想直接看代码，可以直接看我的 git-docker-centos 项目地址，最近发布了 v1.2.0 版本，readme 已经非常详细了，包括项目的使用方式 和 需求规划 本机环境基本只依赖 Docker 的安装，Docker Desktop 的安装教程可参考我之前的博客-Docker 阅读全文

摘要： sealos 官方文档 release 背景 sealos 是用于一键部署 k8s 集群的工具。对于不想被太多操作系统细节配置困扰，又想快速装好一套测试k8s集群的同学，无疑是很方便的 网上教程很多，这边自己简单写下在公司机器上安装的过程，绕了一部分坑，帮助大家更快地使用 官方文档还说明 sealo 阅读全文

摘要： 背景 有个比较大的技术侧需求: 将数据从 HDFS 迁移到 s3。当然在真正迁移之前，还需要验证迁移到 s3 的数据，和上层查询器（hive、presto 之间的兼容性） 这里我们对一张业务表的数据做个简单的迁移测试 验证 数据迁移 为了让 hdfs 指令能直接操作 s3 的数据，参考 Using 阅读全文

摘要： 背景 用户需求: 需要将 mongodb 的数据同步到 hive 表，共 2 亿+条数据，总数据量约 30G 查阅一些博客后，大致同步方法有以下几种 手动+离线 对于比较小的数据，可以先通过 mongoexport 将数据导出到本地 json 文件，再将 json 直接上传到 hdfs，创建 hiv 阅读全文

摘要： 本文公众号 背景 在大数据实时同步的场景中，一个常见场景是从 mysql OLTP 数据库同步到 doris OLAP 数据库，前者属于业务系统通常情况下使用的数据库，后者提供给业务的同事进行高并发、大批量的数据计算和分析 今年年初时，我们这里的部署方案还是 flink cdc 2.4 + flin 阅读全文

摘要： 本文公众号地址 本文背景 应一个用户的好心和好奇心，在最近水深火热的百忙之中抽时间写完了一个简短的项目介绍，其实就是几个azkaban的批量操作脚本，但在大数据集群的“运维生涯”中，还是帮了自己不少忙，也算是为了它做一个简单的回顾吧 项目背景 azkaban 是一个大数据领域通用的任务管理服务，它的 阅读全文

摘要： 背景 从 阮一峰老师的博客 了解到 sadserver 这样一个可以提供 linux 服务器，并尝试解决系统和服务相关问题的在线测试平台。非常难得的是它可以直接提供一个公网的 linux 服务器（一般40-60分钟后会自动销毁），你可以在上面做任何探索。对于想要学习常用 linux 指令的同学，是一 阅读全文