摘要： 简介 Sqoop是sql to hadoop的缩写,是一个关系型数据库和HDFS的数据转换工具。 环境 Sqoop是apache的一个顶级项目，如果使用apache版本，需要自己编译源码，很麻烦。 所以采用另一个发行版本Cloudra。hadoop、hive和sqoop全部采用cdh-5.3.6版本 阅读全文

摘要： Hive就是运行在hadoop架构之上的数据仓库工具，可以把结构化文件生成对应的表，可提供类sql语句查询。 Hive数据库存放的是真正的数据库、表和数据。mysql中存放的是metadata。主要包括数据库信息，表信息，权限等 常见的操作Hive数据库的几种方式：1.hive -f *.sql > 阅读全文

摘要： 在一台电脑上安装虚拟机,并在该虚拟机上安装一个操作系统.给该虚拟机配置公网IP,让外网能直接访问到该虚拟上。 解决办法: 1、查看真实机的网卡设备名称,看哪块网卡是连接wan的； 2、编辑虚拟机的虚拟虚拟网络。 点击编辑，选择虚拟网络编辑器 3.弹出框上会提示使用管理员权限，点击更改配置， 4.选中 阅读全文

摘要： 1.ZooKeeper是什么？ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，它是集群的管理者，监视着集群中各个节点的状态根据节点提交的反馈进行下一步合理操作。最终，将简单易用的接口和性能高效、功能稳定的系统提供给用户2.ZooKeep 阅读全文