摘要:流水查询需求 需求第一期: 基于TB级的在线数据,支持缴费帐单明细在线查询。大家都知道,像银行帐单流水一样,查几年的流水是常有的事。 支持的维度查询:帐期、欠费状态、日期范围、费用科目类型、房屋分类、房屋所属项目、关联合同信息、统计列 什么是实时数据 实时可以分为:实时采集、实时计算、高性能,底延时 阅读全文
posted @ 2020-10-18 16:38 非洲羚羊 阅读(246) 评论(0) 推荐(2) 编辑
摘要:基于上一篇《微服务海量日志监控平台》介绍的平台架构,继续架构的优化和能功的扩展,实现服务治理能力。 问题现状态 日志监控平台为我们带来了很多排查解决线上问题的便利。但是从某种程度上讲,只为我们提供了线索,最终的排查和解决还是需要人工去执行参与,所以从运维角度上说,并没有帮助解决问题。由于采集覆盖面和 阅读全文
posted @ 2020-09-26 02:17 非洲羚羊 阅读(75) 评论(0) 推荐(0) 编辑
摘要:升级目的:为上层开发,提供统一元数据服务并能通过hive操作kudu表,kylin可以通过hive对在kudu中的数据做分析 面临问题:hive4.0之前hive没有KuduStorageHandler机制,需要hive和kudu整合功能而升级,但是github上官方开源的代码看该模块代码没完成。所 阅读全文
posted @ 2020-08-20 13:40 非洲羚羊 阅读(249) 评论(0) 推荐(0) 编辑
摘要:前言 闲暇之时,羚羊给大家分享一下羚羊在Centos7 下安装Cloudera Manager 6.3.0和cloudera cdh 6.3.2的过程和安装过程中遇到的坑。至于为什么要选择CDH,Cloudera Manager和cdh是什么,之间又是什么关系,在这里羚羊就不做介绍了。 为什么选择C 阅读全文
posted @ 2020-07-02 20:34 非洲羚羊 阅读(1063) 评论(2) 推荐(4) 编辑
摘要:先通过命令查看节点的shard分配整体情况 curl -X GET "ip:9200/_cat/allocation?v" 说明:有16个索引未分片 2、查看未分片的索引 curl -XGET ip:9200/_cat/shards?h=index,shard,prirep,state,unassi 阅读全文
posted @ 2020-06-15 19:39 非洲羚羊 阅读(143) 评论(0) 推荐(0) 编辑
摘要:往大数据方向发展需要学哪些技术?网上一搜真是指不胜屈。对于小白来说,实在是一头雾水,到底哪些是当下流行的?哪些是必须要先学会的?流行?主次搞不清。为了解决这些疑惑,羚羊专门花了些时间, 挨个技术去研究对比归类,大概总结出以下的技术点: 文件存储: Hadoop HDFS、GFS、KFS、Tachyo 阅读全文
posted @ 2020-06-15 11:13 非洲羚羊 阅读(674) 评论(0) 推荐(6) 编辑
摘要:前面几章蜻蜓点水的介绍了elasticsearch、apm相关的内容。本片主要介绍怎么使用ELK Stack帮助我们打造一个支撑起日产TB级的日志监控系统 背景 在企业级的微服务环境中,跑着成百上千个服务都算是比较小的规模了。在生产环境上,日志扮演着很重要的角色,排查异常需要日志,性能优化需要日志, 阅读全文
posted @ 2020-06-06 17:19 非洲羚羊 阅读(1950) 评论(3) 推荐(8) 编辑
摘要:安装前准备: 安装之前事先安装好elasticsearch和kibana。 下载安装包: apm-server-7.0.0-linux-x86_64.tar.gz (服务端包)elastic-apm-agent-1.7.0.jar(终端包) 安装步骤: Apm-server终端安装 Apm-serv 阅读全文
posted @ 2020-06-06 03:27 非洲羚羊 阅读(506) 评论(0) 推荐(1) 编辑
摘要:制作目的 在上一篇《elasticsearch7.X x-pack破解》中,我们启用了x-pack模块,elasticsearch集群中,如果使用了x-pack,那么集群中的各节点之间通讯就必须安全认证。为了解决节点间通讯的认证问,我们需要制作证书。 内容简介 本文的主要内容是指导SSL制作过程。 阅读全文
posted @ 2020-05-25 10:15 非洲羚羊 阅读(978) 评论(0) 推荐(1) 编辑
摘要:在入正题之前我们再回顾下它的架构图: 本文章主要分析AMP各索引的作用,与及结合1.7环境上已接入的服务数据对比后,对索引中的主要字段进行解析。文章分为四个小章节。 1、索引类型 apm索引分为四种类型: 系统指标索引(System status metrics),索引名称格式:apm-versio 阅读全文
posted @ 2020-05-24 00:14 非洲羚羊 阅读(329) 评论(0) 推荐(0) 编辑