摘要: 针对大数据量推送,常规的推送工具推送效率很慢,比如kettle ,上千万的数据用时太长,因此,我使用了datax进行推送,1600万用时10分钟,2800万用时20分钟。用datax推送的效率很高 在datax安装好了之后,推送的配置文件主要是配置 json 文件,全量推送可以放置在 /datax/ 阅读全文
posted @ 2023-12-12 11:24 凌晨与风 阅读(52) 评论(0) 推荐(0) 编辑
摘要: 对于大数据的采集推送,有时为了方便会将一张大表的数据按照月份分别存储,尤其是在与流水表相关的业务情况,因此需要定时按照月份去创建表。 我有问过是否可以通过数据库的存储过程和事件触发器实现,得到的回答是可以,但是存储过程和事件触发器很影响数据库性能,不建议用,因此我才用了通过Linux服务器实现这一功 阅读全文
posted @ 2023-12-12 10:23 凌晨与风 阅读(17) 评论(0) 推荐(0) 编辑