摘要:
1、es写入报错及写入性能低问题排查 使用es的java 客户端 jestClient 进行bulk批量写入es 数据时,经过多次调整并行度,bulk批量写入的条数后,es 写入性能始终在 2.7w条/s 左右徘徊,并且在写入用户档案时,在大约1亿条 左右时,es会报【index has read- 阅读全文
posted @ 2022-01-17 16:12
化无
阅读(3064)
评论(0)
推荐(0)
摘要:
select did,scheme_from,max(account_id) account_id from ( select omgid,qimei36,nvl(omgid,qimei36) did,scheme_from,get_json_object(col, '$.account_id') 阅读全文
posted @ 2022-01-12 09:51
化无
阅读(126)
评论(0)
推荐(0)
摘要:
select get_json_object(col, '$.bssid') from ( select '[{"bssid":"6C:59:40:21:05:C4","ssid":"MERCURY_05C4"},{"bssid":"AC:9C:E4:04:EE:52","appid":"10003 阅读全文
posted @ 2022-01-10 11:45
化无
阅读(41)
评论(0)
推荐(0)
摘要:
1、添加mysql索引 将数据指定维度字段添加索引,使数据自动排序 2、分区 如果单天的数据量特别大时,考虑将单天的数据进行日期分区 3、自动淘汰任务 将历史数据进行自动删除,保留最近xx天的数据,以便提升查询性能 阅读全文
posted @ 2022-01-10 11:41
化无
阅读(50)
评论(0)
推荐(0)
摘要:
基于 processTime 的作业失败,从checkPoint 重启作业的数据问题 val lahuo = Lahuo.Atta3639.newBuilder() .setEi(ei) .setId(id) .setSchemeFrom(schemeFrom) .setOmgid(omgid) . 阅读全文
posted @ 2022-01-10 11:39
化无
阅读(374)
评论(0)
推荐(0)
摘要:
import scala.collection.JavaConverters._val list = new ListBuffer[mutable.Map[String,String]]()for(elem <- 1 to 1000000){ val map = new mutable.HashMa 阅读全文
posted @ 2022-01-10 11:38
化无
阅读(82)
评论(0)
推荐(0)
摘要:
使用java.util.List集合存储数据用于当天时间的全局去重,性能低下,查阅源码后发现list.contains判断元素是否存在,需要遍历集合中的所有元素,直到找到第一个当前元素的index后返回是否存在。 阅读全文
posted @ 2022-01-10 11:38
化无
阅读(489)
评论(0)
推荐(0)
摘要:
1、java、scala集合转换性能问题 ESutil工具类代码使用java语言编写,调用工具类的代码使用scala语言编写,scala代码中使用的是mutable.map集合存储数据,在调用工具类时,使用 scala.collection.JavaConverters将scala集合转换为java 阅读全文
posted @ 2022-01-10 11:32
化无
阅读(238)
评论(0)
推荐(0)