摘要：
Spark运行的4中模式： Local Standalone Yarn Mesos 一、安装spark前期准备 1、安装java $ sudo tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/service/ export JAVA_HOME=/opt/ser 阅读全文
posted @ 2017-05-22 15:02
ChavinKing
阅读(8245)
评论(0)
推荐(0)
摘要：
原文连接：http://spark.apache.org/docs/1.5.0/building-spark.html · Building with build/mvn · Building a Runnable Distribution · Setting up Maven’s Memory U 阅读全文
posted @ 2017-05-16 15:20
ChavinKing
阅读(545)
评论(0)
推荐(0)
摘要：
通过cloudera manager 5.x添加spark服务，在创建服务过程中，发现spark服务创建失败，可以通过控制台错误输出看到如下日志信息： + perl -pi -e 's#{{CMF_CONF_DIR}}#/etc/spark/conf.cloudera.spark_on_yarn/y 阅读全文
posted @ 2017-05-15 17:47
ChavinKing
阅读(1457)
评论(0)
推荐(0)
摘要：
一、定义 ORC File，它的全名是Optimized Row Columnar (ORC) file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive数据。它的设计目标是来克服Hive其他格式的缺陷。运用ORC File可以提高Hive的读、写以及处理数据的性能。和RCFile格式相比，ORC File格式有以下优点：(1)、每个task只输... 阅读全文
posted @ 2017-05-14 20:58
ChavinKing
阅读(1950)
评论(0)
推荐(0)
摘要：
在这里解释一下select语法中的order by、sort by、distribute by、cluster by、order by语法。 一、order by语法 在hiveQL中Order by语法类似于sql语言中的order by语法。 colOrder: ( ASC | DESC ) c 阅读全文
posted @ 2017-05-12 17:58
ChavinKing
阅读(14987)
评论(2)
推荐(1)
摘要：
在hive-0.8.0后引入了import/export命令。 Export命令可以导出一张表或分区的数据和元数据信息到一个输出位置，并且导出数据可以被移动到另一个hadoop集群或hive实例，并且可以通过import命令导入数据。 当导出一个分区表，原始数据可能在hdfs的不同位置，export 阅读全文
posted @ 2017-05-12 15:50
ChavinKing
阅读(12063)
评论(0)
推荐(2)
摘要：
官方共给出了3中安装方式：第一种方法必须要求所有机器都能连网，由于最近各种国外的网站被墙的厉害，我尝试了几次各种超时错误，巨耽误时间不说，一旦失败，重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最大优点可实现全离线安装，而且重装什么的都非常方便。后期的集群统一包升级也非常好。这也是 阅读全文
posted @ 2017-05-11 15:26
ChavinKing
阅读(3980)
评论(0)
推荐(0)
摘要：
首次安装hive-2.1.0，通过bin/hive登录hive shell命令行，报错如下： [hadoop@db03 hive-2.1.0]$ bin/hive which: no hbase in (/opt/service/jdk1.7.0_67/bin:/opt/service/jdk1.7 阅读全文
posted @ 2017-05-08 12:08
ChavinKing
阅读(5442)
评论(0)
推荐(1)
摘要：
一、安装zabbix （1）创建用户和组 [root@dbking zabbix-2.2.1]# groupadd zabbix [root@dbking zabbix-2.2.1]# useradd -g zabbix zabbix （2）准备数据库 mysql> create database 阅读全文
posted @ 2017-05-03 20:20
ChavinKing
阅读(266)
评论(0)
推荐(0)
摘要：
VMwareESX/ESXi 精简置备(thin)与厚置备(thick)虚拟机磁盘之间转换 VMwareESX/ESXi 虚拟机磁盘thin与thick之间转换 注意:转换前请先关闭虚拟机!!! 一. Thin to Thick转换 Thin to Thick转换比较简单,在图形界面即可操作; 1. 浏览数据存储 点击虚拟机所在的ESX/ESXi主机,在”配置”选项卡下的”存储器”内... 阅读全文
posted @ 2017-05-03 20:17
ChavinKing
阅读(15428)
评论(0)
推荐(0)
摘要：
1、测试环境下，VMware esxi 5.5环境基本配置如下（主机环境以实际为准）： 2、裸机安装VMware esxi 5.5步骤： 1）将ESXi安装程序CD/DVD 插入 CD/DVD-ROM 驱动器，或连接安装程序USB闪存驱动器并重新启动计算机。将BIOS设置为从CD-ROM设备或USB 阅读全文
posted @ 2017-05-03 20:12
ChavinKing
阅读(7809)
评论(0)
推荐(0)
摘要：
服务器端： [root@scsi ~]# fdisk -l Disk /dev/sda: 32.2 GB, 32212254720 bytes 255 heads, 63 sectors/track, 3916 cylinders Units = cylinders of 16065 * 512 = 阅读全文
posted @ 2017-05-03 20:08
ChavinKing
阅读(990)
评论(0)
推荐(0)
摘要：
出现该问题的原因是新版本的esxi和vcenter中增强了加密强度，而Windows XP和Windows Server 2003未能达到所需加密强度,client发起的链接被esxi和vcenter拒绝。 解决方法： 对于vCenter 修改VCenter Server配置文件vpxd.cfg 文 阅读全文
posted @ 2017-05-03 18:08
ChavinKing
阅读(466)
评论(0)
推荐(0)
摘要：
CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_valu 阅读全文
posted @ 2017-05-02 17:01
ChavinKing
阅读(633)
评论(0)
推荐(0)
浙公网安备 33010602011771号