随笔分类 -  大数据系列

【Kafka】kafka常用命令以及kafka压力测试
摘要：前言 本文kafka命令适用于kafka版本在0.10以上； 演示环境：kafka 版本 0.11.0.2 ，scala版本2.11 查看所有topic 选项说明： zookeeper ：设置zk的链接信息 list ：打印topic列表 创建topic 选项说明： create ：创建topic命 阅读全文
posted @ 2020-05-19 14:53 ShadowFiend 阅读(765) 评论(0) 推荐(0)
【Kafka】Kafka topic主题删除不了
摘要：前言 利用kafka命令删除topic不成功。 原因&解决方式 1. 配置文件未将delete.topic.enable=true，导致删除命令未及时生效； 解决方式： 第一种： 找到conf目录下server.properties配置文件，修改delete.topic.enable=true，代表 阅读全文
posted @ 2020-05-15 15:42 ShadowFiend 阅读(2968) 评论(0) 推荐(0)
【Hive】hive中的常用日期处理函数
摘要：date_format 释义：格式化日期 用法：date_format(date,格式) 例如： 将日期格式化为：2020 05 01和2020 05 date_add 释义：日期加法函数，数字为正，则加多少天，若数字为负数，则为减多少天； 用法：date_add(date,number); 例如： 阅读全文
posted @ 2020-05-14 13:29 ShadowFiend 阅读(19921) 评论(0) 推荐(2)
【Hive】Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown
摘要：前言 将Hive的默认引擎Map Reduce改为Tez后，经常出现TezSession has already shutdown错误； 错误内容 问题原因 ​ 该错误是YARN的虚拟内存计算方式导致，上例中用户程序申请的内存为1Gb，YARN根据此值乘以一个比例（默认为2.1）得出申请的虚拟内存的 阅读全文
posted @ 2020-05-13 09:36 ShadowFiend 阅读(2979) 评论(1) 推荐(1)
【Hive】hive改tez引擎后经常报错：Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask
摘要：错误内容 解决方式 修改tez的配置文件 修改 tez default template.xml 中的 tez.client.asynchronous stop 为 false ； 修改完毕后，同时记得在hdfs集群的/tez下重新上传该配置文件。 之后重启集群，再进行测试； 阅读全文
posted @ 2020-05-12 18:40 ShadowFiend 阅读(6236) 评论(2) 推荐(0)
【Canal】利用canal实现mysql实时增量备份并对接kafka
摘要：简介 canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有: kafka: https://github.com/apache/kafka RocketMQ : https://github.com/apache/ro 阅读全文
posted @ 2020-03-23 08:45 ShadowFiend 阅读(780) 评论(0) 推荐(0)
【Canal】Canal 简介与单机、HA模式搭建
摘要：概述 canal [kə'næl] ，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析 阅读全文
posted @ 2020-03-19 11:26 ShadowFiend 阅读(1411) 评论(0) 推荐(1)