摘要:
1. kafka rebalance rebalance是针对consumer group来说的。consumer group中有多个consumers,当在服务启动阶段,或者新的consumer创建,或者已有consumer宕机,或者parttion变化的情况下会出现rebalance,使得con
阅读全文
posted @ 2022-01-12 11:50
colorfulworld
阅读(195)
推荐(0)
摘要:
Mongo 单个文档上限时16M,如果超过16M则需要采用GridFs方式将文件拆分 GridFS使用两个Collection存储文件: fs.file: 用于存储文件的元数据 (metadata) fs.chunk:存储文件内容的二进制数据(payload) 读文件时,先根据查询条件在file中找
阅读全文
posted @ 2022-01-06 17:51
colorfulworld
阅读(146)
推荐(0)
摘要:
1. HTTPS较HTTP优势 1. HTTP从发送端来说,发送数据是明文传输,发送过程敏感信息可能被窃取 2. HTTP从服务端来说,服务器对请求来者不拒,不会区分来源是否合法 3. 从数据传输过程来说,数据可能被修改或者替换,这就涉及“中间人攻击”问题 HTTPS=HTTP+加密+认证+完整性检
阅读全文
posted @ 2022-01-05 16:12
colorfulworld
阅读(399)
推荐(0)
摘要:
实际开发中多存在使用mongo批量存储数据list使用场景。但如果list中间某一条数据在存储出现异常如何避免对后边数据没有影响? @Slf4j @Service public class PositionBuldRepository implements Serializable { @Autow
阅读全文
posted @ 2021-09-20 10:29
colorfulworld
阅读(769)
推荐(0)
摘要:
项目开发中会针对上游传过来的数据集中特定字段做一些校验 1.特定字段非空校验 @Validate @NotNull @Immutable @Data public class MetaData{ @Valid @NotNull private CommonMetaData commonMeta; @
阅读全文
posted @ 2021-06-25 16:14
colorfulworld
阅读(1264)
推荐(0)
摘要:
游标:解决mongo中对海量数据查询oom问题 我们要获取某张表中的所有数据时通过findAll方法把所有数据加载到代码内存中,这样就很耗内存导致服务器宕机。所以要获取多有数据可以使用游标来多次遍历获取 游标返回的并不是真实数据,而是指向该数据集合的指针,只有循环迭代游标时才会真正的从数据库中读取真
阅读全文
posted @ 2021-06-25 12:04
colorfulworld
阅读(583)
推荐(0)
摘要:
1.Kafka 配置参数含义 ①配置文件配置方式 spring: kafka: bootstrapServers: kafkaserver:port schemaRegistry: kafkaSchemaRegisterWebSite autoOffsetReset: earliest securi
阅读全文
posted @ 2021-06-11 18:08
colorfulworld
阅读(634)
推荐(0)
摘要:
/** * 使用.map()一般是对原来数据集进行操作后结果存放到另一个新创建的集合中,然后调用.collect方法将计算结果存放到新结果集合中 * .filter()是对输入及进行过滤,将满足filter()方法中条件数据返回; * .map() 是对输入集进行函数运算,并且必须有return语句
阅读全文
posted @ 2020-06-11 17:03
colorfulworld
阅读(541)
推荐(0)
摘要:
1. Optional函数: 1.1 Optional.of(T value) 当value为空时,会报nullpointexception 1.2 Optional.ofNullable(T value) 当value为空时创建空实例,不为空时创建optional实例 1.3 isPresent(
阅读全文
posted @ 2020-06-11 16:41
colorfulworld
阅读(2463)
推荐(0)
摘要:
package com.fql.lamda.Lamda; import java.util.Arrays;import java.util.List;import java.util.Map;import java.util.stream.Collectors; import javax.swing
阅读全文
posted @ 2020-06-07 09:01
colorfulworld
阅读(332)
推荐(0)