曹伟雄

摘要： 背景 最近在做订单数据存储到ElasticSearch，考虑到数据量比较大，采用冷热架构来存储，每月建立一个新索引，数据先写入到热索引，通过工具将3个月后的索引自动迁移到冷节点上。 ElasticSearch版本：6.2.4 冷热架构 官方叫法：热暖架构——“Hot-Warm” Architectu 阅读全文

摘要： 一、原始文档 如上图所示, 第二象限是一份原始文档，有title和content2个字段，字段取值分别为”我是中国人”和” 热爱共X产党”，这一点没什么可解释的。我们把原始文档写入Elasticsearch，默认情况下，Elasticsearch里面有2份内容，一份是原始文档，也就是_source字 阅读全文

摘要： 一、下载源码 下载地址：https://github.com/alibaba/canal 我这里用的是canal-1.1.4版本 源码结构 client-adapter项目就是本次要部署运行的 源码导入到IDEA中的结构如下： 二、安装配置 找到manven模块中有root的那个模块，然后点击ins 阅读全文

摘要： 前言 ElasticSearch实现分页查询，有3种方式，他们在数据查询中各自占据着不同的优势，因此在搜索引擎的数据分页过程中，如何更好地利用各自的优势来进行数据查询是一个非常重要的过程。 传统分页（from&size） 按照一般的查询流程来说，如果我们想查询前10条数据： 客户端请求发送给某个节点 阅读全文

摘要： 问题描述 使用canal-adapter写入elasticSearch数据时，数据是写入了elasticSearch了，但出现了mysql表中的数据和elasticSearch中索引中的数据错乱的问题，即把A列的数据放到了B列中的。 研究了半天，发现是因为我在测试过程中，换过另外1个数据库，这2个库 阅读全文

摘要： 一、Region Server栏信息 Requests Per Second，每秒读或写请求次数，可以用来监控HBase请求是否均匀。如果不均匀需排查是否为建表的region划分不合理造成。 Num. Regions，每个Regionserver节点上的region个数，观察每个节点的region个 阅读全文

摘要： 背景 HBase统计 RowCount 的方法有好几种，并且执行效率差别巨大，以下3种方法效率依次提高。 一、hbase-shell的count命令 这是最简单直接的操作，但是执行效率非常低，适用于百万级以下的小表RowCount统计。 此操作可能需要很长时间，来运行计数MapReduce作业。默认 阅读全文

摘要： 索引失效的情况： 随着表的增长，where条件出来的数据太多，大于20%左右，使得索引失效（会导致CBO计算走索引花费大于走全表） 阅读全文

摘要： 问题描述 HBase在运行一段时间后，会出现以下2种情况： 1、HMaster节点自动挂掉； 通过jps命令，发现HMaster进程没了，只剩下HRegionServer，此时应用还能正常往HBase写入数据 此时以下界面无法打开： 2、HRegionServer节点自动挂掉 通过jps命令，发现H 阅读全文

摘要： 安装 安装python，安装完后找到python.exe，记录绝对路径，我的是：E:\log\python-3.7.4\python.exe 设置 用Notepad++打开python脚本，按F5会弹出以下框，输入以下命令： cmd /k 此处填入上一步记录的路径 "$(FULL_CURRENT_P 阅读全文