随笔分类 -  Hadoop

Sqoop任务搬运数据出现重复
摘要：问题描述 sqoop任务：sqlserver hdfs 运行时间：2019 05 23 00:05:30~00:37:03 sqoop任务运行成功，但是sqlserver搬运到hdfs的300W数据出现829条重复记录 问题影响 影响酒店下游任务报表数据不准确，需要重跑任务 当时临时解决方案 重跑该 阅读全文

posted @ 2019-05-24 19:39 AloneAli 阅读(2762) 评论(0) 推荐(0)

Hadoop完全分布式集群搭建
摘要：搭建环境的时候参考了以下下文章：Ubuntu14.04下安装Hadoop2.4.0 （单机模式）Ubuntu14.04下安装Hadoop2.4.0 （伪分布模式）hadoop学习之hadoop完全分布式集群安装由于在Hadoop2.4.0版本下对于mapred-site.xml和yarn-site.... 阅读全文

posted @ 2014-11-21 13:09 AloneAli 阅读(613) 评论(0) 推荐(0)

导航