clickhouse 的数据迁移 remote 方法,1千多万数据 ,秒速完成
背景介绍
作为一名资深软件人,数据安全一定要放到第一位,要保证生产库坏了,也要很快恢复,数据冗余是常用手段,数据转储是必备的,下面说一下我clickhouse的数据备份方式。
本方式适用于亿级别的数据,因为是全量备份;如果是百亿级别的数据,建议增量备份。
准备
准备一台服务器,性能不要求很高,因为这是存储一些数据 ,我是搞了一个docker容器;
安装clickhouse ,在docker 容器里安装,分分钟搞定;
创建数据库、创建需要备份的表;

CREATE DATABASE IF NOT EXISTS dbname;
CREATE TABLE dbname.tablename(
ts Date DEFAULT toDate(now()),
ID UInt32 COMMENT '主键id',
OIL_FACTORY_ID UInt32 COMMENT '',
DEPT_ID UInt32 COMMENT '部门ID',
DEPT_name String COMMENT '部门名字'
) ENGINE = MergeTree() PARTITION BY toYYYYMMDD(ts) ORDER BY ts SETTINGS index_granularity = 8192;
开始转储数据
insert into 目的数据库.表 select * from remote('数据源的ip',数据库.表,'登录名','登录密码')
效果

浙公网安备 33010602011771号