percona系列~pt-archer归档

一 简介:今天咱们来聊聊pt-archiver的使用
二 说明

1.  如果是主键,则直接生成sql语句,如果是非主键/没有索引,则会先查询出主键,然后再生成force index(primary) sql语句,主键能保证全局唯一性

三 只进行数据清理

pt-archiver --no-version-check --source h=192.168.1.1,P=3306,u=test,p=test,D=test,t=test --check-slave-lag h=192.168.1.2,P=3306,u=test,p=test --check-slave-lag h=192.168.1.3,P=3306,u=test,p=test --max-lag=60 --check-interval=1 --charset utf8 --purge --sleep=1 --bulk-delete --statistics --txn-size 100 --progress 1000 --limit 10000 --where "条件|1=1" --why-quit --nosafe-auto-increment

四 数据归档并清理

pt-archiver --no-version-check --source h=192.168.1.1,P=3306,u=test,p=test,D=test,t=test --dest h=192.168.1.1,P=3306,u=test,p=test,D=test,t=test --purge --where="条件"  --commit-each --purge --sleep=1 --bulk-delete   --bulk-insert --statistics --txn-size 100 --progress 1000 --limit 10000 --where "条件|1=1" --why-quit --nosafe-auto-increment

　

五 参数优化

1. 控制事务 --txn-size 记录数被事务大小整除提交 　　
2. --dry-run进行预演,并不会真正执行，可以进行加入此参数试运行
3. 两种场景的区别
   1. 归档需要加入--dest 目的数据库的连接信息，目的数据库需要有此表结构，否则会报错
   2. 归档需要加入--bulk-insert 参数进行并发插入
      1.  批量删除采用DELETE FROM TABLE WHERE ... LIMIT 10000
      2. 批量插入采用LOAD DATA LOCAL INFILE 'file' INTO TABLE ...

六 注意点

1.  建议手动整理回收表空间