wang_zai

摘要： 1. 现象及问题排查 有一天突然发现实时报表数据没有跟着刷新，我们就开始排查，发现kafka那个topic新增了很多数据，而消费者组确只消费了10分之一左右，这让我们感到差异。故开始排查，首先在服务器上使用命令行的形式去消费，用内网和外网都做了尝试，发现消费速度一如既往的稳定（慢）。我们基本上可以确 阅读全文

摘要： 1. Caused by: java.lang.ClassNotFoundException: org.apache.hive.common.util.HiveVersionInfo 原因：flink缺少hive-exec-3.1.2.jar包 解决方法：cp /usr/local/hive/lib 阅读全文

摘要： 1. Caused by: org.apache.hadoop.yarn.exceptions.YarnException: Download and unpack failed 解决：一般是/etc/hosts没有配置，需要把集群ip对应的域名添加到hosts即可，如： 192.168.0.1 b 阅读全文

摘要： 一、导致锁表的原因 1、锁表发生在insert update 、delete 中； 2、锁表的原理是 数据库使用独占式封锁机制，当执行上面的语句时，对表进行锁住，直到发生commite 或者 回滚 或者退出数据库用户； 3、锁表的原因 ： 1)、A程序执行了对 tableA 的 insert ，并还 阅读全文

摘要： 1. COALESCE 返回参数中的第一个非空值；如果所有值都为NULL，那么返回NULL 用途： 如果该表为商品表（维度表），以flink解析mysql binlog同步数据过来，需要将昨日的存量数据tb_sku_dim_all,今日增量tb_sku_dim_incre结合起来。 1）首先会对增量 阅读全文

摘要： 一、 kafka读写流程 写流程 1.连接ZK集群，从ZK中拿到对应topic的partition信息和partition的Leader的相关信息 ​ 2.连接到对应Leader对应的broker ​ 3.将消息发送到partition的Leader上 ​ 4.其他Follower从Leader上复 阅读全文

摘要： 一、问题 安装hadoop3.1.3之后，hdfs namenode -format 正常。 通过hdfs dfsadmin -report查看，发现可用存储空间为0。 解决过程及方法： 安装网上流程，说是hdfs namenode -format多次操作，导致clusterID不一致，出现这种情况 阅读全文

摘要： 下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#python-geohash找到对应的包下载即可执行方式：pip install xxx.whl 阅读全文

摘要： 1. 慢查询日志 #该参数用来控制慢查询日志是否开启 slow_query_log=1 #来指定慢查询日志的文件名 slow_query_log_file=slow_query.log #用来配置查询的时间限制， 超过这个时间将认为值慢查询， 将需要进行日志记录， 默认10s long_query_ 阅读全文

摘要： 一. MyISAM与Innodb区别 1. MyISAM: 不提供事务的支持； 不支持行级锁和外键； 数据和索引分别存储； 索引实现方式：B+树索引，MyISAM是堆表。 2. Innodb： 提供了对数据库ACID事务的支持； 提供行级锁（锁定粒度小并发能力高）和外键的约束； 数据和索引是集中存储 阅读全文