随笔分类 -  DB

摘要：0.需求背景 应项目国产化适配需要，后续需要将数据迁移至DM7数据库中，调研kettle连接DM7 1.kettle连接DM7的相关操作 1.1 DM7驱动安装 kettle连接DM7，本质上是通过JDBC连接，因而需要将DM7的JDBC驱动放到${kettle_home}\lib\目录中。DM7的 阅读全文

摘要：背景 由于公司CDH集群资源有限，在使用Hbase对数据厂商上报数据文件进行解析写入hbase过程中，一旦遇到数据上报峰值（如历史数据批量上报，异常数据批量重传），都会导致Hbase可用机器资源不足，导致Hbase服务异常终止。尝试调试解析数据文件的并发线程数及Hbase服务的可分配内存资源均不能有 阅读全文

摘要：问题描述 现有几千条数据，需要插入到对应的Hive/Impala表中。安排给了一个同事做，但是等了好久，反馈还没有插入完成……看到他的做法是：对每条数据进行处理转换为对应的insert语句，但是，实际执行起来，速度很慢，每条数据都要耗时1s左右。比在MySQL中批量插入数据慢多了，因而抱怨Impal 阅读全文

摘要：0.概述 Hive对外提供了StorageHandler接口，提供了访问各种存储组件中的数据的能力。Hbase提供了HbaseStorageHandler，使得hive可以通过建立外部映射表访问hbase中的数据。但是，公司CDH集群的版本比较低，不支持新版hive原生的JdbcStorageHan 阅读全文