摘要：
1、es写入报错及写入性能低问题排查 使用es的java 客户端 jestClient 进行bulk批量写入es 数据时，经过多次调整并行度，bulk批量写入的条数后，es 写入性能始终在 2.7w条/s 左右徘徊，并且在写入用户档案时，在大约1亿条 左右时，es会报【index has read- 阅读全文
posted @ 2022-01-17 16:12
化无
阅读(3065)
评论(0)
推荐(0)
摘要：
select did,scheme_from,max(account_id) account_id from ( select omgid,qimei36,nvl(omgid,qimei36) did,scheme_from,get_json_object(col, '$.account_id') 阅读全文
posted @ 2022-01-12 09:51
化无
阅读(127)
评论(0)
推荐(0)
摘要：
select get_json_object(col, '$.bssid') from ( select '[{"bssid":"6C:59:40:21:05:C4","ssid":"MERCURY_05C4"},{"bssid":"AC:9C:E4:04:EE:52","appid":"10003 阅读全文
posted @ 2022-01-10 11:45
化无
阅读(41)
评论(0)
推荐(0)
摘要：
1、添加mysql索引 将数据指定维度字段添加索引，使数据自动排序 2、分区 如果单天的数据量特别大时，考虑将单天的数据进行日期分区 3、自动淘汰任务 将历史数据进行自动删除，保留最近xx天的数据，以便提升查询性能 阅读全文
posted @ 2022-01-10 11:41
化无
阅读(50)
评论(0)
推荐(0)
摘要：
基于 processTime 的作业失败，从checkPoint 重启作业的数据问题 val lahuo = Lahuo.Atta3639.newBuilder() .setEi(ei) .setId(id) .setSchemeFrom(schemeFrom) .setOmgid(omgid) . 阅读全文
posted @ 2022-01-10 11:39
化无
阅读(375)
评论(0)
推荐(0)
摘要：
import scala.collection.JavaConverters._val list = new ListBuffer[mutable.Map[String,String]]()for(elem <- 1 to 1000000){ val map = new mutable.HashMa 阅读全文
posted @ 2022-01-10 11:38
化无
阅读(82)
评论(0)
推荐(0)
摘要：
使用java.util.List集合存储数据用于当天时间的全局去重，性能低下，查阅源码后发现list.contains判断元素是否存在，需要遍历集合中的所有元素，直到找到第一个当前元素的index后返回是否存在。 阅读全文
posted @ 2022-01-10 11:38
化无
阅读(489)
评论(0)
推荐(0)
摘要：
1、java、scala集合转换性能问题 ESutil工具类代码使用java语言编写，调用工具类的代码使用scala语言编写，scala代码中使用的是mutable.map集合存储数据，在调用工具类时，使用 scala.collection.JavaConverters将scala集合转换为java 阅读全文
posted @ 2022-01-10 11:32
化无
阅读(238)
评论(0)
推荐(0)
浙公网安备 33010602011771号