摘要: 背景 在支持客户中,我们发现有一些客户公司已经存在一些数据通道,不允许业务直接消费MySQL Binlog,所有的数据消费都是从Kafka中获取,所以写这篇文档分享下如何消费Kafka中canal格式的数据写到到starrocks,实现CDC。 数据流向 Mysql Binlog-->Canal-- 阅读全文
posted @ 2022-03-18 12:28 jd_xupt 阅读(897) 评论(0) 推荐(0) 编辑
摘要: 背景 本文主要描述导入问题的排查思路和常见问题解决方法。这里简单阐述下不同导入方式的流程,方便大家理解导入流程和排查问题,具体的可参考文档导入章节。 排查流程 Stream Load Stream load内部调用链路 1796×1286 76.2 KB Stream Load是一种同步执行的导入方 阅读全文
posted @ 2022-03-07 15:45 jd_xupt 阅读(1470) 评论(0) 推荐(0) 编辑
摘要: 背景 在我们支持客户的过程中,发现一些客户在部署和使用StarRocks过程中,遇到BE服务的问题,一般不太清楚应该怎样排查?关注哪些指标?超过多少是不合理的状态等。本文从部署到使用过程中,分享StarRocks BE服务常见问题以及处理办法,希望能帮助大家更好的理解和使用StarRocks。 常见 阅读全文
posted @ 2022-03-07 15:42 jd_xupt 阅读(3209) 评论(0) 推荐(0) 编辑
摘要: 背景 本文主要展示apache hue和starrocks结合 HUE=Hadoop User Experience Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于P 阅读全文
posted @ 2021-11-29 16:24 jd_xupt 阅读(253) 评论(0) 推荐(0) 编辑
摘要: 最近在通过StarRocks 的 stream load方式导入数据的时候,抛异常: W1124 19:17:12.383533 401 tablets_channel.cpp:316] Fail to close tablet writer, tablet_id=10681 transaction 阅读全文
posted @ 2021-11-26 15:14 jd_xupt 阅读(1423) 评论(0) 推荐(0) 编辑
摘要: 最近几天在学习nginx的时候了解了一下linux网络IO模型,在此谈谈我自己的理解,如有错误请多多指教。本文参考书籍Richard Stevens的“UNIX® Network Programming Volume 1, Third Edition: The Sockets Networking  阅读全文
posted @ 2016-06-05 11:45 jd_xupt 阅读(877) 评论(0) 推荐(0) 编辑
摘要: xtrabackup是一种支持InnoDB和xtradb存储引擎的的物理备份工具,它有以下几个特点: (1)备份过程快速、可靠; (2)备份过程不会打断正在执行的事务; (3)能够基于压缩等功能节约磁盘空间和流量; (4)自动实现备份检验; (5)还原速度快。 需要安装的软件包: percona-x 阅读全文
posted @ 2016-05-11 09:30 jd_xupt 阅读(617) 评论(0) 推荐(0) 编辑
摘要: LVM:使用逻辑卷的快照功能备份,几乎热备 前提: 1.数据文件要在逻辑卷上; 2.此逻辑卷所在组必须有足够空间使用快照卷; 3.数据文件和事物日志要在同一个卷上。 步骤: 1.打开会话,施加读锁,锁定所有表 mysql>flush tables with read lock; mysql>flus 阅读全文
posted @ 2016-05-06 15:19 jd_xupt 阅读(1194) 评论(0) 推荐(0) 编辑
摘要: 一、LVS概述 LVS是Linux Virtual Server的简称,也叫Linux虚拟服务器,是一个由章文嵩教授主持开展的开源项目,官方站点为www.linuxvirtualserver.org。现在LVS已经是Linux内核的一部分,不需要编译内核。但在Linux2.4之前,要使用LVS需要将 阅读全文
posted @ 2016-05-06 09:11 jd_xupt 阅读(241) 评论(0) 推荐(0) 编辑