摘要:ElasticSearch如何更新集群的状态 最近发生了很多事情,甚至对自己的技术能力和学习方式产生了怀疑,所以有一段时间没更新文章了,估计以后更新的频率会越来越少,希望有更多的沉淀而不是简单地分享。让我有感悟的是,最近看到一篇关于ES集群状态更新的文章 "Elasticsearch Distrib 阅读全文
posted @ 2019-11-16 18:40 hapjin 阅读 (27) 评论 (0) 编辑
摘要:MySQL中的 redo 日志文件 MySQL中有三种日志文件,redo log、bin log、undo log。redo log 是 存储引擎层(innodb)生成的日志,主要为了保证数据的可靠性;bin log 是 MySQL 数据库层面上生成的日志,主要用于 point in time 恢复 阅读全文
posted @ 2019-09-28 16:19 hapjin 阅读 (232) 评论 (0) 编辑
摘要:Redis Persistent Replication Sentinel Cluster的一些理解 我喜欢把工作中接触到的各种数据库叫做存储系统,笼统地说:Redis、Mysql、Kafka、ElasticSearch 都可以视为存储系统。各个存储系统在持久化刷盘策略、checkpoint机制、事 阅读全文
posted @ 2019-09-22 13:01 hapjin 阅读 (75) 评论 (0) 编辑
摘要:使用索引别名和Rollover滚动创建索引 在 "ElasticSearch6.3.2 集群做节点冷(warm) 热(hot) 分离" 中,实现了ElasticSearch集群节点的冷热分离,新创建的索引只允许分配到hot节点上,而随着时间推移,旧的历史索引数据需要迁移到warm节点上。因此,ES索 阅读全文
posted @ 2019-09-14 12:49 hapjin 阅读 (116) 评论 (0) 编辑
摘要:谈谈 Callable 任务是怎么运行的?它的执行结果又是怎么获取的? 向线程池提交Callable任务,会创建一个新线程(执行任务的线程)去执行这个Callable任务,但是通过Future get获取任务的执行结果是在提交任务的调用者线程中,那问题一:调用者线程如何获取执行任务的线程的结果? 在 阅读全文
posted @ 2019-09-06 21:56 hapjin 阅读 (249) 评论 (0) 编辑
摘要:ElasticSearch6.3.2源码分析之节点连接实现 这篇文章主要分析ES节点之间如何维持连接的。在开始之前,先扯一下ES源码阅读的一些心得:在使用ES过程中碰到某个问题,想要深入了解一下,可源码又太多了,不知道从哪里入手,怎么办?ES启动的入口类是Elasticsearch.java,顺着这 阅读全文
posted @ 2019-08-31 15:21 hapjin 阅读 (71) 评论 (0) 编辑
摘要:基于word2vec的文档向量模型的应用 word2vec的原理以及训练过程具体细节就不介绍了,推荐两篇文档:《word2vec parameter learning explained》、和《word2vec中的数学》。 在《word2vec中的数学》中谈到了训练语言模型的一些方法:比如n gra 阅读全文
posted @ 2019-08-23 21:40 hapjin 阅读 (186) 评论 (0) 编辑
摘要:拿一个小规模的5节点ES集群做冷热分离尝试,它上面已经有60多个索引,有些索引按月、每月生成一个索引,随着数据的不断写入,历史数据(只需保留三个月数据,三个月之前的数据视为历史数据)越来越占磁盘空间和内存资源,影响搜索响应时间。因此想把集群中节点分成2种类型,一种是hot节点,配置大内存和SSD,用 阅读全文
posted @ 2019-08-10 15:42 hapjin 阅读 (480) 评论 (0) 编辑
摘要:Elasticsearch 定义字段时Norms选项的作用 本文介绍ElasticSearch中2种字段(text 和 keyword)的Norms参数作用。 创建ES索引时,一般指定2种配置信息:settings、mappings。settings 与数据存储有关(几个分片、几个副本);而mapp 阅读全文
posted @ 2019-08-03 14:46 hapjin 阅读 (155) 评论 (0) 编辑
摘要:这篇文章主要是记录HanLP标准分词算法整个实现流程。 HanLP的核心词典训练自人民日报2014语料,语料不是完美的,总会存在一些错误。这些错误可能会导致分词出现奇怪的结果,这时请打开调试模式排查问题: 那什么是语料呢?通俗的理解,就是HanLP里面的二个核心词典。假设收集了人民日报若干篇文档,通 阅读全文
posted @ 2019-07-27 15:01 hapjin 阅读 (405) 评论 (0) 编辑