10 2017 档案

Impala2.7.0-cdh5.x.x安装部署
摘要：部署impalaimpala安装选择rpm包方式进行，这是本次部署唯一一个主要主件采用rpm方式进行安装部署，这里主要原因是cloudera没有提供现成的tar包文件，而源码编译过程会出现各种未知原因，为了方便采用以下方式进行部署。安装介质如下：$ lsbigtop-utils-0.7.0+cdh5.10.0+0-1.cdh5.10.0.p0.71.el7.noarch.rpmimpala-2.7... 阅读全文
posted @ 2017-10-29 20:08 ChavinKing 阅读(2539) 评论(0) 推荐(0)
CentOS7修改主机名
摘要：临时修改：重启失效hostname xxx永久修改：hostnamectl set-hostname xxx 阅读全文
posted @ 2017-10-29 01:04 ChavinKing 阅读(155) 评论(0) 推荐(0)
phoenix技术（安装部署和基本使用）讲解
摘要：1、phoenix简介Apache Phoenix是构建在HBase之上的关系型数据库层，作为内嵌的客户端JDBC驱动用以对HBase中的数据进行低延迟访问。Apache Phoenix会将用户编写的sql查询编译为一系列的scan操作，最终产生通用的JDBC结果集返回给客户端。数据表的元数据存储在HBase的表中被会标记版本号，所以进行查询的时候会自动选择正确的schema。直接使用HBase的... 阅读全文
posted @ 2017-10-22 01:50 ChavinKing 阅读(1846) 评论(0) 推荐(0)
编译安装hadoop2.x
摘要：1、Requirements:* Unix System* JDK 1.7+* Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)* ProtocolBuffer 2.5.0* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac* Zlib... 阅读全文
posted @ 2017-10-20 09:45 ChavinKing 阅读(152) 评论(0) 推荐(0)
基于cdh5.10.x hadoop版本的apache源码编译安装spark
摘要：参考文档：http://spark.apache.org/docs/1.6.0/building-spark.html spark安装需要选择源码编译方式进行安装部署，cdh5.10.0提供默认的二进制安装包存在未知问题，如果直接下载spark二进制安装文件，配置完成后会发现启动spark及相关使用 阅读全文
posted @ 2017-10-18 17:56 ChavinKing 阅读(796) 评论(0) 推荐(0)
hbase与sqoop的集成
摘要：1、sqoop抽取mysql表到hbase中export HBASE_HOME=/opt/cdh-5.3.6/hbase-0.98.6-cdh5.3.6export HADOOP_HOME=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp`:${HBASE_HOME}/con... 阅读全文
posted @ 2017-10-10 09:20 ChavinKing 阅读(213) 评论(0) 推荐(0)
hbase与hive集成：hive读取hbase中数据
摘要：1、创建hbase jar包到hive lib目录软连接hive需要jar包：hive-hbase-handler-0.13.1-cdh5.3.6.jarzookeeper-3.4.5-cdh5.3.6.jarguava-12.0.1.jar --删除hive下低版本jar包，cp hbase中的到hive/lib/下（即需要注意jar包版本）ln -s /opt... 阅读全文
posted @ 2017-10-10 09:18 ChavinKing 阅读(684) 评论(0) 推荐(0)
hbase运行mapreduce设置及基本数据加载方法
摘要：hbase与mapreduce集成后，运行mapreduce程序，同时需要mapreduce jar和hbase jar文件的支持，这时我们需要通过特殊设置使任务可以同时读取到hadoop jar和hbase jar文件内容，否则任务会报错。我们知道仅仅运行mapreduce任务时，不需要设置classpath，这时因为运行bin/yarn命令时已经在命令脚本中针对hadoop执行jar包路径进行... 阅读全文
posted @ 2017-10-10 09:17 ChavinKing 阅读(1493) 评论(0) 推荐(0)
CentOS7安装详解
摘要：本文基于vmware workstations进行CentOS7安装过程展示，关于vmware workstations安装配置本人这里不再介绍，基本过程相当于windows下安装个软件而已。 1、打开vmware workstations，文件->新建虚拟机，出现如下界面，选择“自定义（高级）”选 阅读全文
posted @ 2017-10-06 07:19 ChavinKing 阅读(342172) 评论(6) 推荐(26)
自动化运维工具-mussh工具安装配置及简单使用讲解
摘要：1、先决条件：安装pssh工具的主机针对远程主机需要配置免秘钥认证：ssh-keygen -t rsassh-copy-id [remotehost]2、下载mussh工具安装介质：https://jaist.dl.sourceforge.net/project/mussh/mussh/1.0/mussh-1.0.tgz3、安装musshmussh安装非常简单，直接解压缩安装包即可使用。tar -... 阅读全文
posted @ 2017-10-06 07:12 ChavinKing 阅读(1082) 评论(0) 推荐(0)
自动化运维工具-pdsh工具安装配置及简单使用讲解
摘要：1、先决条件：安装pssh工具的主机针对远程主机需要配置免秘钥认证：ssh-keygen -t rsassh-copy-id [remotehost]2、下载pssh工具安装介质：https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/pdsh/pdsh-2.29.tar.bz23、安装pdsh... 阅读全文
posted @ 2017-10-06 07:11 ChavinKing 阅读(2076) 评论(0) 推荐(0)
自动化运维工具-pssh工具安装配置及简单使用讲解
摘要：1、先决条件：安装pssh工具要求python版本大于2.4即可。安装pssh工具的主机针对远程主机需要配置免秘钥认证：ssh-keygen -t rsassh-copy-id [remotehost]2、下载pssh工具安装介质：https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/para... 阅读全文
posted @ 2017-10-06 07:10 ChavinKing 阅读(1008) 评论(0) 推荐(0)
CentOS7初始化mysql库报错
摘要：在centos7上安装mysql数据库，进行数据库初始化工作时，报错缺少data::dumper库文件，如下：解决办法：安装autoconf库后重新初始化即可解决。yum-y install autoconf 阅读全文
posted @ 2017-10-02 04:00 ChavinKing 阅读(667) 评论(0) 推荐(0)