摘要： 0.前期准备 按照《数据库基准测试：HammerDB测试脚本(db2/oracle)》的说明，在压测机上安装好HammerDB并配置好压测的目标数据库； 准备压测时收集服务器运行时性能的监控脚本，脚本中注意修改监控IO的磁盘ID； 确认压测时目标服务器中无其他负载运行（特别注意要避免影响生产环境的D 阅读全文

摘要： 0.前面要说的话 之前章节简单介绍了一下hammerdbcli的使用方法，但通过命令行的方式不适合大批量数据基准测试（灌了3000仓库的tpcc数据在虚拟 机上耗时超过了1天多），实际hammerdb已经内置了多种数据库类型的基准测试脚本，以下以oracle为例简单说明如何使用这些脚本。 1.基准测 阅读全文

摘要： 1.前期准备 安装好HammerDB（参考其他文档）； 在压测机上安装好Oracle Client；（参考其他文档） 准备好一个可用于压力测试的oracle数据库； 2.librarycheck 使用hammerdbcli命令进入命令模式，再输入librarycheck命令查看结果是否有Succes 阅读全文

摘要： 0.前言 两个数据库表之间使用日期（Date或timestamp）字段进行增量同步，是ETL操作的基本操作（本文举例的源表数据只新增不删除不修改的情况），最简单的步骤如下： 获取目标表时间戳字段的max值； 获取源表时间戳字段的max值； 比较确认源表的时间要大于目标表，否则同步没有意义； 根据目标 阅读全文

摘要： 0.前言 在同步AS400的数据时，原表字段是固定字段长度的，长度不足时使用空格符填充，故直接"表输入"->"表输出"时，目标表也会同步对应的空格符，很明显这是我们所不想要的，以下是通过"字符串操作"处理组件进行处理即可，这里只需要使用一个转换即可完成。 1.详细操作步骤 完整流程 执行SQL脚本 阅读全文

摘要： 0.前言 在同步大表的时候，如果数据量大，需要分批次进行同步，使用分页是一种方法，如果原表中是有Date字段的话，可以按日期进行同步。本次kettle同步使用日期搭建同步的工作流，主要的思路如下： 清空目标表 [转换]获取日期分组的数据； [转换]分批写数据到目标表； 1.设计步骤 （1）主工作流 阅读全文

摘要： 0.前言 以下是使用kettle对大表进行分页分批次全量同步的基础例子，并尽量减少job与trans的嵌套，在此基础上继续添加细节。 此工作流的源与目标均是mysql数据库，主要的设计思路是： 开始 truncate目标表 设置全局变量（batch_size、total_pages、current_ 阅读全文

摘要： 0.说明在前面的话 发现DB2中可以建立内置的定时任务，这对于一些轻量的批处理（懒得写代码）可以简单实现，如定时生成日报、清理日志数据、创建或删除分区等。但这个做法对运维是不友好的，有时运维人员会忽略这种定时任务的存在。但我刚好是运维人员也兼DBA，可以通过这种方式来偷懒，但请大家慎重使用这种方式。 阅读全文

摘要： 0.前面要说的话 上一章节简单介绍了一下hammerdbcli的使用方法，但通过命令行的方式不适合大批量数据基准测试（灌了3000仓库的tpcc数据在虚拟 机上耗时超过了1天多），实际hammerdb已经内置了多种数据库类型的基准测试脚本，以下以db2为例简单说明如何使用这些脚本。 1.基准测试脚本 阅读全文

摘要： 0.说在前面的话 因数据库迁移的需要，对前后两个环境的存储性能进行测试，而存储之于数据库的性能而言是至关重要的，在此使用系统自带的dd命令进行简单的读写测试，方便做横向对比。如果可以，则建议使用fio工具可以有更精准的结果。 1.dd命令的介绍 功能说明：可从标准输入或文件读取数据，依指定的格式来转 阅读全文