上一页 1 2 3 4 5 6 7 8 9 ··· 20 下一页
摘要: ==背景== 项目是私有化部署,有一些图片及文件需要存储,数量不多,单文件大小也不是很大, 目前只能放在linux下的绝对路径下面,有必要研究一下文件系统。 想找一个简单(不需要依赖其他组件,安装容易)易用(使用起来简单)的分布式文件系统的技术, 朋友介绍了seaweedfs这个结束,过来研究一下, 阅读全文
posted @ 2020-12-04 15:27 大墨垂杨 阅读(3778) 评论(0) 推荐(1) 编辑
摘要: ==背景== 我目前在做的项目属于物联网场景,数据实时流处理之后已经存储到了时序数据库当中, 需要从时序数据库中,根据具体的业务特性来生成一些具体的业务数据(如报表数据), 这个部分的架构,在我们项目中目前还是一个盲点,需要解决掉它。 经朋友介绍,dolphinscheduler这个调度工具出现在了 阅读全文
posted @ 2020-12-01 22:10 大墨垂杨 阅读(1904) 评论(1) 推荐(0) 编辑
摘要: 测试tdengine2.0.7.0的时候,提示我需要安装python(虽然我没有用到python的连接器),没办法,先安装了python吧。 ==下载== https://www.python.org/downloads/ ==安装== 通过FTP工具上传到Linux服务器上(也可以通过wget直接 阅读全文
posted @ 2020-11-10 11:21 大墨垂杨 阅读(4395) 评论(0) 推荐(0) 编辑
摘要: ==背景== 在搭建工业物联网的数据平台,用来完成设备连接以及数据存储等, 以支持上层的应用及数据分析等。目前使用的是mq→flink→influxdb的基本套路。 虽然说InfluxDB的性能和功能都非常的棒,特别是连续查询对性能的支撑, 不过由于influxdb使用的是社区版,存在单点故障的问题 阅读全文
posted @ 2020-09-30 14:30 大墨垂杨 阅读(29515) 评论(13) 推荐(7) 编辑
摘要: 通过java客户端访问hdfs提示以下错误 "C:\Program Files\Java\jdk1.8.0_77\bin\java.exe" -agentlib:jdwp=transport=dt_socket,address=127.0.0.1:51383,suspend=y,server=n - 阅读全文
posted @ 2020-09-18 09:47 大墨垂杨 阅读(2009) 评论(0) 推荐(0) 编辑
摘要: ==集群环境== rocketmq版本:4.5.0 ==问题描述== 创建了一个广播模式(BROADCASTING)的消费者,试了各种办法消费不到数据, 如果是集群模式的(CLUSTERING)的就没有问题。 ==解决办法== 设置消费者的属性,使消费者支持广播消费(consumeBroadcast 阅读全文
posted @ 2020-08-26 17:33 大墨垂杨 阅读(2459) 评论(0) 推荐(0) 编辑
摘要: https://ci.apache.org/projects/flink/flink-docs-release-1.11/ops/cli.htmlOptions for yarn-cluster mode: -d,--detached If present, runs the job in deta 阅读全文
posted @ 2020-08-03 09:59 大墨垂杨 阅读(329) 评论(0) 推荐(0) 编辑
摘要: ==背景== 数据库:我们的生产环境中有一个设备运行的数据库使用的是InfluxDB,这里面存储了所有设备上报上来的实时运行数据,数据量增速较快。 功能需求:产品有一个叫趋势分析的功能,用来按照不同的算子(mean、max等),不同的时间段(1分钟、30分钟)等对数据进行聚合。 ==版本== 1.7 阅读全文
posted @ 2020-07-30 20:47 大墨垂杨 阅读(9834) 评论(4) 推荐(4) 编辑
摘要: ==背景== 物联网场景,在设备端写了一个小的API服务程序,这个程序包括: 1、向平台上报设备数据 2、创建消费者客户端,用来监听平台的下行命令 ==问题== 平台层需要知道设备的状态:在线 or 离线。我能想到的解决办法 1、设备上报心跳数据,平台通过心跳来判断设备是否在线。 2、rocketm 阅读全文
posted @ 2020-07-24 12:14 大墨垂杨 阅读(2174) 评论(0) 推荐(0) 编辑
摘要: ==问题== 在本地Debug调试Flink消费RocketMQ数据的时候,提示如下错误 2020-07-23 16:11:31 [ rexel ] INFO com.rexel.stream.flink.proc.CheckAlarm - [ ]ruleDetailMap.size=2 2020- 阅读全文
posted @ 2020-07-23 16:17 大墨垂杨 阅读(6624) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 ··· 20 下一页