摘要：
1.pom文件 <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>${scala.version}</version> </dependency> <depen 阅读全文
摘要：
一、背景 最近在做HBase的项目，不免会引用到一些工具类，如StringUtils,NumberUtils,DateUtils这些，公司底层有封装好可以直接使用。 但是项目完成，用maven打包部署的时候，由于公司底层集成了太多jar包，可能会导致冲突，使打完的jar包无法用java -jar 运 阅读全文
摘要：
1、背景 公司线下环境，原本有三台虚拟机组成的集群（cdh5.3.6），由于硬件配置比较低，申请了新的三台机器，8核8G内存，在上面部署了cdh5.11.1，较新的cdh集群。 由于远来的三台还在使用，所以打算把新的三台机器搭建好后，再把原来三台机器合并进来。 2、过程 （1）让hadoop001, 阅读全文
摘要：
一、简介 HBase是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大规模数据集时，可以使用HBase。 尽管已经有许多数据存储和访问的策略和实现方法，但事实上大多数解决方案，特别是一些关系类型的，在构建时并没有考虑超大规模和分布式的特点。许多商家通过复制和分区的方法来 阅读全文
摘要：
一、简介 oozie是hadoop平台开源的工作流调度引擎，用来管理hadoop作业，属于web应用程序，由oozie server 和oozie client构成。 oozie server运行与tomcat容器中 oozie的工作流必须是一个有向无环图，当用户需要执行多个关联的MapReduce 阅读全文
摘要：
一、简介 MySQL是一个关系型数据库系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下产品。MySQL 是最流行的关系型数据库管理系统之一，在 WEB 应用方面，MySQL是最好的 RDBMS (Relational Database Management System，关系数据 阅读全文
摘要：
一、spark简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎，Spark 是一种与 hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除 阅读全文
摘要：
一、简介 hue是一个开源的apache hadoop ui系统，由cloudear desktop演化而来，最后cloudera公司将其贡献给了apache基金会的hadoop社区，它基于python框架django实现的。 通过使用hue，我们可以使用可视化的界面在web浏览器上与hadoop集 阅读全文
摘要：
一、简介 hive是基于hadoop的一种数据仓库工具，可以将结构化的文件映射成为数据库的一张表，并提供简单sql查询功能，底层实现是转化为MapReduce任务计算。 二、安装 （1）下载 从cdh下载页下载 http://archive.cloudera.com/cdh5/cdh/5/ hive 阅读全文
摘要：
一、前言 由于线下测试的需要，需要在公司线下（测试）环境搭建大数据集群。 那么CDH是什么？ hadoop是一个开源项目，所以很多公司再这个基础上进行商业化，不收费的hadoop版本主要有三个，分别是： （1）Apache，最原始的版本，所有发行版均基于这个版本进行改进 缺点：版本部署混乱，部署过程 阅读全文