上一页 1 ··· 4 5 6 7 8 9 10 11 12 13 下一页
摘要: 1. kafka rebalance rebalance是针对consumer group来说的。consumer group中有多个consumers,当在服务启动阶段,或者新的consumer创建,或者已有consumer宕机,或者parttion变化的情况下会出现rebalance,使得con 阅读全文
posted @ 2022-01-12 11:50 colorfulworld 阅读(195) 评论(0) 推荐(0)
摘要: Mongo 单个文档上限时16M,如果超过16M则需要采用GridFs方式将文件拆分 GridFS使用两个Collection存储文件: fs.file: 用于存储文件的元数据 (metadata) fs.chunk:存储文件内容的二进制数据(payload) 读文件时,先根据查询条件在file中找 阅读全文
posted @ 2022-01-06 17:51 colorfulworld 阅读(146) 评论(0) 推荐(0)
摘要: 1. HTTPS较HTTP优势 1. HTTP从发送端来说,发送数据是明文传输,发送过程敏感信息可能被窃取 2. HTTP从服务端来说,服务器对请求来者不拒,不会区分来源是否合法 3. 从数据传输过程来说,数据可能被修改或者替换,这就涉及“中间人攻击”问题 HTTPS=HTTP+加密+认证+完整性检 阅读全文
posted @ 2022-01-05 16:12 colorfulworld 阅读(399) 评论(1) 推荐(0)
摘要: 实际开发中多存在使用mongo批量存储数据list使用场景。但如果list中间某一条数据在存储出现异常如何避免对后边数据没有影响? @Slf4j @Service public class PositionBuldRepository implements Serializable { @Autow 阅读全文
posted @ 2021-09-20 10:29 colorfulworld 阅读(769) 评论(0) 推荐(0)
摘要: 项目开发中会针对上游传过来的数据集中特定字段做一些校验 1.特定字段非空校验 @Validate @NotNull @Immutable @Data public class MetaData{ @Valid @NotNull private CommonMetaData commonMeta; @ 阅读全文
posted @ 2021-06-25 16:14 colorfulworld 阅读(1264) 评论(0) 推荐(0)
摘要: 游标:解决mongo中对海量数据查询oom问题 我们要获取某张表中的所有数据时通过findAll方法把所有数据加载到代码内存中,这样就很耗内存导致服务器宕机。所以要获取多有数据可以使用游标来多次遍历获取 游标返回的并不是真实数据,而是指向该数据集合的指针,只有循环迭代游标时才会真正的从数据库中读取真 阅读全文
posted @ 2021-06-25 12:04 colorfulworld 阅读(583) 评论(0) 推荐(0)
摘要: 1.Kafka 配置参数含义 ①配置文件配置方式 spring: kafka: bootstrapServers: kafkaserver:port schemaRegistry: kafkaSchemaRegisterWebSite autoOffsetReset: earliest securi 阅读全文
posted @ 2021-06-11 18:08 colorfulworld 阅读(634) 评论(0) 推荐(0)
摘要: /** * 使用.map()一般是对原来数据集进行操作后结果存放到另一个新创建的集合中,然后调用.collect方法将计算结果存放到新结果集合中 * .filter()是对输入及进行过滤,将满足filter()方法中条件数据返回; * .map() 是对输入集进行函数运算,并且必须有return语句 阅读全文
posted @ 2020-06-11 17:03 colorfulworld 阅读(541) 评论(0) 推荐(0)
摘要: 1. Optional函数: 1.1 Optional.of(T value) 当value为空时,会报nullpointexception 1.2 Optional.ofNullable(T value) 当value为空时创建空实例,不为空时创建optional实例 1.3 isPresent( 阅读全文
posted @ 2020-06-11 16:41 colorfulworld 阅读(2463) 评论(0) 推荐(0)
摘要: package com.fql.lamda.Lamda; import java.util.Arrays;import java.util.List;import java.util.Map;import java.util.stream.Collectors; import javax.swing 阅读全文
posted @ 2020-06-07 09:01 colorfulworld 阅读(332) 评论(0) 推荐(0)
上一页 1 ··· 4 5 6 7 8 9 10 11 12 13 下一页