摘要: 1、es写入报错及写入性能低问题排查 使用es的java 客户端 jestClient 进行bulk批量写入es 数据时,经过多次调整并行度,bulk批量写入的条数后,es 写入性能始终在 2.7w条/s 左右徘徊,并且在写入用户档案时,在大约1亿条 左右时,es会报【index has read- 阅读全文
posted @ 2022-01-17 16:12 化无 阅读(3064) 评论(0) 推荐(0)
摘要: select did,scheme_from,max(account_id) account_id from ( select omgid,qimei36,nvl(omgid,qimei36) did,scheme_from,get_json_object(col, '$.account_id') 阅读全文
posted @ 2022-01-12 09:51 化无 阅读(126) 评论(0) 推荐(0)
摘要: select get_json_object(col, '$.bssid') from ( select '[{"bssid":"6C:59:40:21:05:C4","ssid":"MERCURY_05C4"},{"bssid":"AC:9C:E4:04:EE:52","appid":"10003 阅读全文
posted @ 2022-01-10 11:45 化无 阅读(41) 评论(0) 推荐(0)
摘要: 1、添加mysql索引 将数据指定维度字段添加索引,使数据自动排序 2、分区 如果单天的数据量特别大时,考虑将单天的数据进行日期分区 3、自动淘汰任务 将历史数据进行自动删除,保留最近xx天的数据,以便提升查询性能 阅读全文
posted @ 2022-01-10 11:41 化无 阅读(50) 评论(0) 推荐(0)
摘要: 基于 processTime 的作业失败,从checkPoint 重启作业的数据问题 val lahuo = Lahuo.Atta3639.newBuilder() .setEi(ei) .setId(id) .setSchemeFrom(schemeFrom) .setOmgid(omgid) . 阅读全文
posted @ 2022-01-10 11:39 化无 阅读(374) 评论(0) 推荐(0)
摘要: import scala.collection.JavaConverters._val list = new ListBuffer[mutable.Map[String,String]]()for(elem <- 1 to 1000000){ val map = new mutable.HashMa 阅读全文
posted @ 2022-01-10 11:38 化无 阅读(82) 评论(0) 推荐(0)
摘要: 使用java.util.List集合存储数据用于当天时间的全局去重,性能低下,查阅源码后发现list.contains判断元素是否存在,需要遍历集合中的所有元素,直到找到第一个当前元素的index后返回是否存在。 阅读全文
posted @ 2022-01-10 11:38 化无 阅读(489) 评论(0) 推荐(0)
摘要: 1、java、scala集合转换性能问题 ESutil工具类代码使用java语言编写,调用工具类的代码使用scala语言编写,scala代码中使用的是mutable.map集合存储数据,在调用工具类时,使用 scala.collection.JavaConverters将scala集合转换为java 阅读全文
posted @ 2022-01-10 11:32 化无 阅读(238) 评论(0) 推荐(0)