随笔分类 -  Hadoop

摘要：前言： 老实说，我觉得在两个无法通信的集群中迁移数据是一件非常蠢的事情，但是既然上面这么要求了，也只能这么做了~ 正文： 为什么要强调不通信集群，因为可以互通的集群之间要进行数据转移有很多工具，只要一行命令就可以了，比如distcp。不过虽然是不通信集群，但至少也要有一台机器可以连通这两个集群作为中 阅读全文

摘要：最近在做一个小任务，将一个CDH平台中Hive的部分数据同步到另一个平台中。毕竟我也刚开始工作，在正式开始做之前，首先进行了一段时间的练习，下面的内容就是练习时写的文档中的内容。如果哪里有错误或者疏漏，希望各位网友能够指出。 第二篇：Hive中数据的导入与导出：https://www.cnblogs 阅读全文

摘要：该随笔记录HDFS学习过程中遇到的比较重要的几个过程，包括：HDFS启动流程、DataNode备份流程、流程、写流程、删除流程、HDFS合并流程。这里都是从我的学习笔记中摘取出来的，如果哪里有误，还望不吝赐教。 1. 读流程 1）客户端发起RPC请求（RPC-Client）访问NameNode； 2 阅读全文