随笔分类 -  Linux

1 2 下一页
Flume消费内外网分流配置的Kafka时遇到的坑
摘要：网上有铺天盖地的文章，介绍如何将Kafka同时配置成公网地址、内网地址，以实现内外网分流，看着都很成功。 但我们通过Flume消费一个配置了内外网分流的Kafka（版本0.10.1）集群时遇到了坑，却没有从现有的文章中找到解决方案。 如果使用公有云服务，一般一台虚拟机只有一块网卡，这时内外网分流的K 阅读全文
posted @ 2021-12-03 23:54 静若清池 阅读(421) 评论(0) 推荐(0)
调整Grafana保留的Dashboard历史版本数，降低数据库存储
摘要：在Grafana中编辑并保存Dashboard时，会将本次修改作为一个版本记录下来，默认会保留20个版本： 如果Grafana采用MySQL作为存储介质，Dashboard的这些历史版本，会保存在dashboard_version表中： 如果定义的Dashboard非常多，会导致dashboard_ 阅读全文
posted @ 2021-12-03 23:10 静若清池 阅读(1234) 评论(0) 推荐(0)
在Telegraf上报的监控数据中添加固定的标签列
摘要：Telegraf作为InfluxData提供的TICK工具栈（由Telegraf, InfluxDB, Chronograf, Kapacitor四个工具的首字母组成）中收集监控数据的一环，功能非常强大，并且提供了灵活的扩展机制，具有丰富的插件，能够收集多种类型的监控数据。 由于我们的机器是分数据中 阅读全文
posted @ 2021-12-03 22:13 静若清池 阅读(439) 评论(0) 推荐(0)
Nebula 2.5.0安装过程及遇到的坑
摘要：2021年8月23日，Nebula 发布了最新版本：2.5.0，正好赶上新环境部署，记录一下安装过程及遇到的坑： 一、准备工作 以下安装使用nebula用户，搭建集群模式，一共三台机器：192.168.0.1、192.168.0.2、192.168.0.3 1.1 安装目录 nebula主程序、ne 阅读全文
posted @ 2021-08-25 09:22 静若清池 阅读(2231) 评论(1) 推荐(1)
C#版Nebula客户端编译
摘要：一、需求背景 从Nebula的Github上可以发现，Nebula为以下语言提供了客户端SDK： nebula-cpp nebula-java nebula-go nebula-python nebula-node nebula-rust 我们公司的业务开发语言是C#，但Nebula却没有提供C#版 阅读全文
posted @ 2021-07-19 15:07 静若清池 阅读(669) 评论(1) 推荐(2)
特来电自动运维应用实践
摘要：经过三年多的快速发展，特来电云平台从无到有，从有到强，从强到精，在应用实践中不断打磨完善，逐渐成长为国内乃至国际充电网领域的标杆，支撑了每天300余万度，总量8亿余度的充电量。这背后既有云平台沉淀出的技术创新性与前瞻性，也有云平台研发人员刨根问底追求卓越的精神，更有运维系统及运维人员枕戈待旦默默付出 阅读全文
posted @ 2018-04-23 18:10 静若清池 阅读(1521) 评论(0) 推荐(0)
Flink1.4.0中反序列化及序列化类变化
摘要：Flink1.4.0中，反序列化及序列化时继承的类，有一些被标记为了“@deprecated”，路径上也有变化： 1.AbstractDeserializationSchema 以前路径 现在路径： 2.SerializationSchema 以前路径： 现在路径： 阅读全文
posted @ 2018-02-04 12:00 静若清池 阅读(2257) 评论(0) 推荐(0)
解决Flink输出日志中时间比当前时间晚8个小时的问题
摘要：Flink安装在CentOS7上，默认时间是UTC时间，查看Flink日志，发现输出时间比当前时间晚8个小时。 通过如下命令，调整成北京时间 但是查看Flink输出的日志时间格式，输出时间仍然比当前时间晚8个小时！ 经过研究，以下操作，可以解决日志输出时间比当前时间晚8小时的问题。 一、jobman 阅读全文
posted @ 2018-02-02 13:19 静若清池 阅读(3898) 评论(0) 推荐(1)
VMware与Hyper-V
摘要：前段时间在Windows10上安装Hyper-V，使用docker时，提示要卸载VMware 今天重新安装VMware时，提示： 根据连接进去：https://kb.vmware.com/s/article/2146361 提示要卸载Hyper-v： 真是水火不容。 在Windows 10 下，即使 阅读全文
posted @ 2017-12-30 22:07 静若清池 阅读(821) 评论(0) 推荐(0)
Linux下查看Go语言软件运行情况
摘要：在Linux下，使用“jps”可以查看用Java语言写的软件的运行情况，如果要查看GO语言写的软件的运行情况，可以使用“gops”，但这不是系统自带的，需要进行安装。 1.安装git 2.安装golang 添加环境变量（/etc/profile） 使环境变量生效 3.安装gops 4.查看正在运行的 阅读全文
posted @ 2017-12-21 20:24 静若清池 阅读(4094) 评论(0) 推荐(0)
Spark Streaming VS Flink Streaming
摘要：引自：https://www.slideshare.net/datamantra/introduction-to-flink-streaming 阅读全文
posted @ 2017-12-05 17:25 静若清池 阅读(829) 评论(1) 推荐(0)
基于Flink秒级计算时CPU监控图表数据中断问题
摘要：基于Flink进行秒级计算时，发现监控图表中CPU有数据中断现象，通过一段时间的跟踪定位，该问题目前已得到有效解决，以下是解决思路： 一、问题现象 以SQL02为例，发现本来10秒一个点的数据，有时会出现断点现象，会少1-2个点甚至更多： 二、问题定位 针对该问题，根据数据处理链路，制定了数据输出跟 阅读全文
posted @ 2017-12-03 22:31 静若清池 阅读(2186) 评论(6) 推荐(0)
特来电监控引擎流计算应用实践
摘要：随着云计算的深入落地，大数据技术有了坚实的底层支撑，不断向前发展并日趋成熟，无论是传统企业还是互联网公司，都不再满足于离线批处理计算，而是更倾向于应用实时流计算，要想在残酷的企业竞争中立于不败之地，企业数据必须被快速处理并输出结果，流计算无疑将是企业Must Have的大杀器。作为充电生态网的领军企 阅读全文
posted @ 2017-11-06 18:04 静若清池 阅读(3483) 评论(10) 推荐(8)
以local模式使用Xshell+Xmanager远程监控jvisualvm
摘要：使用jvisualvm的remote方式监控服务器端jvisualvm时，不是很方便，因此通过local方式，应该是正路。 一、服务器端（Linux，最小安装模式，没有图形界面） 1.安装xauth 如果在Xshell中配置了X11转发后，出现如下提示： 则需要查看/etc/ssh/sshd_con 阅读全文
posted @ 2017-10-05 21:41 静若清池 阅读(2825) 评论(0) 推荐(0)
使用jvisualvm的jstatd方式远程监控Java程序
摘要：使用Java自带的jvisualvm调试Java程序，可以查看CPU、内存、类及线程等信息，还可以进行Dump，无疑是一个利器 由于客户端是Windows、服务端是Linux，并且是最小安装的Linux，没有图形界面，因此需要进行远程调试 一、客户端：Windows 打开%JAVA_HOME%/bi 阅读全文
posted @ 2017-10-02 16:42 静若清池 阅读(7601) 评论(0) 推荐(0)
使用Flink时遇到的问题（不断更新中）
摘要：1.Jobmanager启动不起来 现象1：查看JobManager日志： WARN org.apache.flink.runtime.webmonitor.JobManagerRetriever - Failed to retrieve leader gateway and port. akka. 阅读全文
posted @ 2017-09-16 22:13 静若清池 阅读(41157) 评论(4) 推荐(1)
Flink JobManager HA模式部署（基于Standalone）
摘要：参考文章：https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/jobmanager_high_availability.html#bootstrap-zookeeper Flink典型的任务处理过程如下所示： 很容易发现 阅读全文
posted @ 2017-09-06 10:07 静若清池 阅读(11216) 评论(4) 推荐(0)
Flink从Kafka 0.8中读取多个Topic时的问题
摘要：Flink提供了FlinkKafkaConsumer08，使用Kafka的High-level接口，从Kafka中读取指定Topic的数据，如果要从多个Topic读取数据，可以如下操作： 1.application.conf中配置 如果使用了配置管理库typesafe.config，可以在其appl 阅读全文
posted @ 2017-09-05 16:57 静若清池 阅读(7908) 评论(0) 推荐(0)
停止Flink任务
摘要：1.简单粗暴 控制台中Ctrl+C 2.UI中点击"Cancel" 3.执行cancel命令，需要知道Flink的Job ID 阅读全文
posted @ 2017-09-05 14:06 静若清池 阅读(5407) 评论(0) 推荐(0)
怎样在Spark、Flink应用中使用Protobuf 3的包
摘要：如果在在Spark、Flink应用中使用Protobuf 3的包，因为Spark默认使用的是2.5版本的包，提交任务时，可能会报如下异常： 针对Spark，可以使用SPARK_CLASSPATH或是指定 的方式解决，今天在调试Flink程序时，发现还有一种解决方式： If the uber JAR 阅读全文
posted @ 2017-08-29 15:15 静若清池 阅读(3921) 评论(0) 推荐(0)

1 2 下一页