kettle插件-mssql server批量加载插件,性能原地起飞
1、老铁们,前面文章写了好多我们团队老师自研的插件。这些插件帮助很多小伙伴提升了数据传输性能。
打个广告,我们团队自研的插件vip用户免费使用,且提供bug修复等。

今天给大家介绍一款团队小伙伴自研的mssql server 批量加载插件,原生的kettle中不包含此步骤,使用mssql server的小伙伴在遇到性能问题时束手无策。Java小金刚团队代表月亮消灭它,开整。

2、将插件kettle-mssql-bulkloader放到kettle plugins目录下面,重启spoon。
3、设计转换
1)用到生成记录步骤和Mssql Bulk Loader 两个步骤,如下图所示:

2)、生成记录步骤模拟生成100万条数据,模拟数据只有id一个字段。

3)Mssql Bulk Loader 配置,设置数据库连接,schema,table 以及字段映射关系,如下图所示:

4)保存&run,一起见证Bulk loader的速度,如下图所示:
基于个人mac笔记本测试,3.7s完成100万条数据写入数据库,当然你有可能会说你的表只有一个字段,相信我即使多些字段,速度依然会雄起。


浙公网安备 33010602011771号