摘要：为了优化 Java Spark 服务，尝试了各种办法和各种参数组合。 为什么要优化 现网有个spark服务，白天数据量大，积压数据，夜间数据量小，再把积压的数据处理完，虽然达到了平衡，保证了每天的数据能处理完，但白天的数据处理延迟比较大。 数据积压的原因 接手这个服务以来，我一直以为是因为下载图片耗 阅读全文

摘要：统计总数： GET mytest-statistics/_search { "size": 0, "query": { "bool": { "must": [ { "range": { "day": { "gte": "2022-09-01", "lte": "2022-09-01" } } } ] 阅读全文

摘要：ElasticSearch 精确查询统计 match_phrase：短语匹配，不分词 GET logback-2022-08/_search { "size": 1, //显示1条记录 "query": { "bool": { "must": [ { "match_phrase": { "app": 阅读全文

摘要：两个问题：1、服务崩了 2、服务启动不起来问题1可能和数据以及代码有关，Spark服务崩溃也常见，一般它会自动重启问题2是因为部署另一个Spark服务的时候，在/opt/hadoopclient/Spark2x/spark/jars文件夹下放了三个jar包：kafka_2.11-0.11.0.1.j 阅读全文