漠漠颜 - 博客园

2019年11月1日

摘要： Prometheus告警规则增删改自动化 Prometheus告警规则增删改自动化前言：随着容器技术的发展，zabbix监控方式与k8s的结合不完善，导致不得不放弃zabbix，而新的监控工具prometheus的使用就越来越多了。但是经过初步使用，发现prometheus过于原始，很多设置都要阅读全文

posted @ 2019-11-01 00:56 漠漠颜阅读(3638) 评论(0) 推荐(0) 编辑

Prometheus Consul实现自动服务发现

摘要： Prometheus Consul实现自动服务发现 1、概述 Consul 是一个支持多数据中心分布式高可用的服务发现和配置共享的服务软件. Consul 由 HashiCorp公司用Go语言开发, 基于Mozilla Public License 2.0的协议进行开源. Consul 支持健康检查阅读全文

posted @ 2019-11-01 00:47 漠漠颜阅读(1599) 评论(0) 推荐(0) 编辑

2019年10月18日

Gin-Go学习

摘要：笔记一：Hello World https://www.cnblogs.com/tudaogaoyang/p/8056186.html 笔记二：Gin-Web框架 https://www.cnblogs.com/tudaogaoyang/p/8056249.html 笔记三：Gin-Web框架 JS 阅读全文

posted @ 2019-10-18 21:16 漠漠颜阅读(174) 评论(0) 推荐(0) 编辑

2019年10月3日

监控

摘要： 1.运维系统运维系统：配置管理、网络探测、资产管理、业务管理、CMDB、CD、DevOps、作业编排、任务编排，添加监控、报警、日志分析、大数据分析等部分内容 https://github.com/zutianbiao/baize Grafana + Zabbix + ASP.NET Core 2 阅读全文

posted @ 2019-10-03 20:23 漠漠颜阅读(398) 评论(0) 推荐(0) 编辑

2019年10月2日

运维脚本

摘要：自动化部署-运维脚本参考链接：https://github.com/SwordfallYeung/BigData_AutomaticDeploy 自动化部署：https://gitee.com/lucky110100/sloth/tree/master Linux命令行与shell脚本编程大全案例阅读全文

posted @ 2019-10-02 22:25 漠漠颜阅读(1333) 评论(0) 推荐(0) 编辑

2019年10月1日

大数据平台架构组件选择与运用场景

摘要： 1.大数据平台大数据在工作中的应用有三种：与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。数据工程师在业务和数据科学家之间搭建起实践的桥梁。本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面。阅读全文

posted @ 2019-10-01 23:56 漠漠颜阅读(1427) 评论(0) 推荐(0) 编辑

HDP2.4安装(五)：集群及组件安装

摘要： HDP(Hortonworks Data Platform)是hortworks推出的100%开源的hadoop发行版本,以YARN 作为其架构中心，包含pig、hive、phoniex、hbase、storm、spark等大量组件，在最新的2.4版本，监控UI实现与grafana集成,包含组件版本阅读全文

posted @ 2019-10-01 23:46 漠漠颜阅读(935) 评论(0) 推荐(0) 编辑

Spark(三): 安装与配置

摘要：参见 HDP2.4安装(五)：集群及组件安装，安装配置的spark版本为1.6, 在已安装HBase、hadoop集群的基础上通过 ambari 自动安装Spark集群，基于hadoop yarn 的运行模式。目录： Spark集群安装参数配置测试验证 Spark集群安装：在ambari 阅读全文

posted @ 2019-10-01 23:44 漠漠颜阅读(1014) 评论(0) 推荐(0) 编辑

Spark(二): 内存管理

摘要： Spark 作为一个以擅长内存计算为优势的计算引擎，内存管理方案是其非常重要的模块； Spark的内存可以大体归为两类：execution和storage，前者包括shuffles、joins、sorts和aggregations所需内存，后者包括cache和节点间数据传输所需内存；在Spark 1 阅读全文

posted @ 2019-10-01 23:43 漠漠颜阅读(262) 评论(0) 推荐(0) 编辑

Spark(一): 基本架构及原理

摘要： Spark基本架构及原理 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： S 阅读全文

posted @ 2019-10-01 23:41 漠漠颜阅读(407) 评论(0) 推荐(0) 编辑

公告