smiecj

摘要： 背景 有个比较大的技术侧需求: 将数据从 HDFS 迁移到 s3。当然在真正迁移之前，还需要验证迁移到 s3 的数据，和上层查询器（hive、presto 之间的兼容性） 这里我们对一张业务表的数据做个简单的迁移测试 验证 数据迁移 为了让 hdfs 指令能直接操作 s3 的数据，参考 Using 阅读全文

摘要： 背景 用户需求: 需要将 mongodb 的数据同步到 hive 表，共 2 亿+条数据，总数据量约 30G 查阅一些博客后，大致同步方法有以下几种 手动+离线 对于比较小的数据，可以先通过 mongoexport 将数据导出到本地 json 文件，再将 json 直接上传到 hdfs，创建 hiv 阅读全文