摘要：
通过filebeat收集并通过elsaticsearch的pipeline功能解析nginx访问日志 部分方案直接通过nginx写入json格式的数据，filebeat/logstash 直接解析收集上传至es 本篇方式为nginx写入标准文件，filebeat上传，并调用es的pipeline方法 阅读全文
posted @ 2021-02-28 16:47
cclient
阅读(810)
评论(0)
推荐(0)
摘要：
权衡各种选型和匹配，和个人熟悉程度，目前的选择Typora+minio+upic的方案 minio的图片加载，通过nginx 做ssl https,http2 gui选择Typora，之所以选择Typora，最大痛点是图片自动上传，懂得都懂，也是本篇主要的部分 服务端 1 基础服务启动minio m 阅读全文
posted @ 2021-02-28 16:44
cclient
阅读(602)
评论(0)
推荐(0)
摘要：
spark 使用shc 访问hbase超时问题解决办法 跑一批spark算法任务，从hbase拉数据就超过10小时，导致超时 spark访问hbase 使用 spark sql + shc 20/02/27 19:36:21 INFO TaskSetManager: Starting task 17 阅读全文
posted @ 2021-02-28 16:41
cclient
阅读(455)
评论(0)
推荐(0)
摘要：
定制logstash-output-kafka 添加额外事务参数 官方有类似的issues How to set max.in.flight.requests.per.connection 解决方案 修改代码添加配置项，改动见commit 很简单四行代码，编译后替换原生插件 config :enab 阅读全文
posted @ 2021-02-28 16:39
cclient
阅读(617)
评论(0)
推荐(0)
摘要：
es节点失效，重置primary，迁移分区 接手另一个团队的elasticsearch服务，服务布署在某云上，迁移计划执行期间，集群状态yellow，多sharding UNASSIGNED 集群版本5.5,使用kibana作监控,未使用cerebro 简单排查一番后，某云反应是硬盘失效，确定数据无 阅读全文
posted @ 2021-02-28 16:28
cclient
阅读(1050)
评论(0)
推荐(0)
摘要：
本来不想写这篇的，因为实在太过基础，但就是在线上生产环境的es集群上出现了这种类问题，这两个配置也适于于所有的jvm栈服务 公司规模也不算小，因为工作分工，把一部分es集群的日常维护和搭建和升级交给平台组做了，平台组保证es的日常稳定，但并不会主动作业务层相关的优化，高负载影响业务排查时，实在不敢相 阅读全文
posted @ 2021-02-28 16:25
cclient
阅读(676)
评论(0)
推荐(1)
摘要：
2020年大环境较差，小人物很多无奈，总算是苟了过来 博客几乎没有更新 2021年过年期间也有较多的私事，闲暇时整理了些个人积累，还在整理中 2020年，个人也30岁了，也算是职业生涯的，人生道路的一个不好不坏的存档点吧 攒了不少内容，但因为是事后梳理，还没调修好 而且整理这些东西比想象中更耗时，没 阅读全文
posted @ 2021-02-28 16:15
cclient
阅读(61)
评论(0)
推荐(1)
浙公网安备 33010602011771号