12 2021 档案

[平台建设] Spark任务的诊断调优
摘要：本文主要根据平台用户平常提交的spark任务思考,调研引入Dr. Elephant, 通过阅读Dr 相关源码, 明白Dr 执行整体流程并对代码进行改造,适配我们的需求.最终转变为平台产品来对用户的Spark任务进行诊断并给出相关调优建议. 阅读全文

posted @ 2021-12-31 22:19 chaplinthink 阅读(650) 评论(0) 推荐(0)

[平台建设] 大数据平台如何实现任务日志采集
摘要：本文主要介绍如何基于log4j appender自定义扩展实现大数据平台任务日志采集. 阅读全文

posted @ 2021-12-30 00:07 chaplinthink 阅读(882) 评论(0) 推荐(0)

[Elasticsearch] ES聚合场景下部分结果数据未返回问题分析
摘要：本文主要对ES聚合场景下部分结果数据未返回问题分析,给出排查思路和解决方案 阅读全文

posted @ 2021-12-28 23:00 chaplinthink 阅读(1932) 评论(0) 推荐(0)

[平台建设] HBase平台建设实践
摘要：本文主要介绍HBase平台的建设思路及设计, 并对跨集群数据迁移实践进行总结 阅读全文

posted @ 2021-12-27 21:37 chaplinthink 阅读(373) 评论(0) 推荐(0)

[Elasticsearch] ES 的Mapping 设计在实际场景中应用
摘要：背景 项目中有个需求是需要几个字段作为标签，统计各个标签的文档数量，同时支持分词后的全文检索功能。 所使用的ES版本: elasticsearch-5.6.16 原有的mapping设计： curl -XPUT http://ip:9200/meta_es_metric_data -d' { "se 阅读全文

posted @ 2021-12-24 14:58 chaplinthink 阅读(686) 评论(0) 推荐(1)

[编程总结] 《程序员必读之软件架构》读书笔记
摘要：目录架构设计架构的种类软件架构是什么应用程序架构系统架构软件架构敏捷的软件架构是什么架构对上设计软件架构重要吗软件架构的角色拓展T小心鸿沟设计软件原则技术不是实现细节 架构设计 下至接口设计 上至技术选型 架构PPT少不了对ROI（投资回报）和TCO（总体拥有成本）陈述 想要在这个行业里有所作为，就 阅读全文

posted @ 2021-12-19 23:34 chaplinthink 阅读(168) 评论(0) 推荐(0)

导航