摘要：修改Sqoop1.4.6源码实现--fields-terminated-by选项支持多字节分隔符 最近项目中需要使用sqoop实现oracle与hdfs的数据交换，从oracle数据表导入到hdfs集群，以及把hdfs数据导出到oracle数据表。客户要求Hdfs文本文件中，字段分隔符必须是“|@| 阅读全文

摘要：今天想停止spark集群，发现执行stop-all.sh的时候spark的相关进程都无法停止。提示： no org.apache.spark.deploy.master.Master to stop no org.apache.spark.deploy.worker.Worker to stop 上... 阅读全文

摘要：上一篇在win7虚拟机下搭建了hadoop2.6.0伪分布式环境。为了开发调试方便，本文介绍在eclipse下搭建开发环境，连接和提交任务到hadoop集群。1. 环境Eclipse版本Luna 4.4.1安装插件hadoop-eclipse-plugin-2.6.0.jar，下载后放到eclips... 阅读全文

摘要：近几年大数据越来越火热。由于工作需要以及个人兴趣，最近开始学习大数据相关技术。学习过程中的一些经验教训希望能通过博文沉淀下来，与网友分享讨论，作为个人备忘。第一篇，在win7虚拟机下搭建hadoop2.6.0伪分布式环境。1. 所需要的软件 使用Vmware 11.0搭建虚拟机，安装Ubuntu 1... 阅读全文