05 2017 档案

MySQL导入导出
摘要：MySQL导出导入数据有以下几种方法： 1）select ... into outfile 2）load data 3）mysqldump 4）mysqlimport 5）mysql 一、表级别导入、导出 关于字符处理有以下相关子句： 1）fields terminated by ''：各个字段之间使用tab分隔。 2）[optionally] enclosed by ''：字段值使用什么符号引起... 阅读全文
posted @ 2017-05-30 16:44 ChavinKing 阅读(789) 评论(0) 推荐(0)
MySQL字符集详解
摘要：一、字符集和校验规则 字符集是一套符合和编码，校验规则（collation）是在字符集内用于比较字符的一套规则，即字符集的排序规则。MySQL可以使用对种字符集和检验规则来组织字符。 MySQL服务器可以支持多种字符集，在同一台服务器，同一个数据库，甚至同一个表的不同字段都可以指定使用不同的字符集， 阅读全文
posted @ 2017-05-29 00:35 ChavinKing 阅读(34653) 评论(3) 推荐(5)
开启spark日志聚集功能
摘要：spark监控应用方式： 1)在运行过程中可以通过web Ui:4040端口进行监控 2)任务运行完成想要监控spark，需要启动日志聚集功能 开启日志聚集功能方法： 编辑conf/spark-env.sh文件，在其中加入如下部分： SPARK_HISTORY_OPTS=-Dspark.histor 阅读全文
posted @ 2017-05-26 13:24 ChavinKing 阅读(2898) 评论(0) 推荐(0)
一个生产可用的mysql参数文件my.cnf
摘要：[client]#客户端选项设置#设置客户端和连接字符集default_character_set = utf8port = 3306socket = /opt/mysql-5.6.24/tmp/mysql.socket [mysqld]#服务器端选项设置# innodb设置default_stor 阅读全文
posted @ 2017-05-25 18:53 ChavinKing 阅读(429) 评论(0) 推荐(0)
spark分组统计及二次排序案例一枚
摘要：组织数据形式： aa 11 bb 11 cc 34 aa 22 bb 67 cc 29 aa 36 bb 33 cc 30 aa 42 bb 44 cc 49 需求： 1、对上述数据按key值进行分组 2、对分组后的值进行排序 3、截取分组后值得top 3位以key-value形式返回结果 答案如下 阅读全文
posted @ 2017-05-24 13:12 ChavinKing 阅读(1404) 评论(0) 推荐(0)
远程登录oracle 12.2数据库报错ORA-28040解决办法
摘要：今天新安装的oracle 12.2.0.1数据库，通过本地sqlplus远程登录12c数据库报错ora-28040，如下： ORA-28040: No matching authentication protocol 解决办法（亲测可行）： 进入到$ORACLE_HOME/network/admin 阅读全文
posted @ 2017-05-24 11:11 ChavinKing 阅读(4968) 评论(0) 推荐(0)
spark运行wordcount程序
摘要：首先提一下spark rdd的五大核心特性： 1、rdd由一系列的分片组成，比如说128m一片，类似于hadoop中的split2、每一个分区都有一个函数去迭代/运行/计算3、一系列的依赖，比如：rdda转换为rddb，rddb转换为rddc，那么rddc依赖于rddb，rddb依赖于rdda。 l 阅读全文
posted @ 2017-05-23 09:47 ChavinKing 阅读(1574) 评论(0) 推荐(0)
Spark安装部署（local和standalone模式）
摘要：Spark运行的4中模式： Local Standalone Yarn Mesos 一、安装spark前期准备 1、安装java $ sudo tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/service/ export JAVA_HOME=/opt/ser 阅读全文
posted @ 2017-05-22 15:02 ChavinKing 阅读(8244) 评论(0) 推荐(0)
编译安装spark 1.5.x（Building Spark）
摘要：原文连接：http://spark.apache.org/docs/1.5.0/building-spark.html · Building with build/mvn · Building a Runnable Distribution · Setting up Maven’s Memory U 阅读全文
posted @ 2017-05-16 15:20 ChavinKing 阅读(545) 评论(0) 推荐(0)
CM5.x配置spark错误解决
摘要：通过cloudera manager 5.x添加spark服务，在创建服务过程中，发现spark服务创建失败，可以通过控制台错误输出看到如下日志信息： + perl -pi -e 's#{{CMF_CONF_DIR}}#/etc/spark/conf.cloudera.spark_on_yarn/y 阅读全文
posted @ 2017-05-15 17:47 ChavinKing 阅读(1457) 评论(0) 推荐(0)
Hive:ORC File Format存储格式详解
摘要：一、定义 ORC File，它的全名是Optimized Row Columnar (ORC) file，其实就是对RCFile做了一些优化。据官方文档介绍，这种文件格式可以提供一种高效的方法来存储Hive数据。它的设计目标是来克服Hive其他格式的缺陷。运用ORC File可以提高Hive的读、写以及处理数据的性能。和RCFile格式相比，ORC File格式有以下优点：(1)、每个task只输... 阅读全文
posted @ 2017-05-14 20:58 ChavinKing 阅读(1946) 评论(0) 推荐(0)
HiveQL之Sort by、Distribute by、Cluster by、Order By详解
摘要：在这里解释一下select语法中的order by、sort by、distribute by、cluster by、order by语法。 一、order by语法 在hiveQL中Order by语法类似于sql语言中的order by语法。 colOrder: ( ASC | DESC ) c 阅读全文
posted @ 2017-05-12 17:58 ChavinKing 阅读(14985) 评论(2) 推荐(1)
Hive之import和export使用详解
摘要：在hive-0.8.0后引入了import/export命令。 Export命令可以导出一张表或分区的数据和元数据信息到一个输出位置，并且导出数据可以被移动到另一个hadoop集群或hive实例，并且可以通过import命令导入数据。 当导出一个分区表，原始数据可能在hdfs的不同位置，export 阅读全文
posted @ 2017-05-12 15:50 ChavinKing 阅读(12060) 评论(0) 推荐(2)
手动安装cloudera manager 5.x（tar包方式）详解
摘要：官方共给出了3中安装方式：第一种方法必须要求所有机器都能连网，由于最近各种国外的网站被墙的厉害，我尝试了几次各种超时错误，巨耽误时间不说，一旦失败，重装非常痛苦。第二种方法下载很多包。第三种方法对系统侵入性最小,最大优点可实现全离线安装，而且重装什么的都非常方便。后期的集群统一包升级也非常好。这也是 阅读全文
posted @ 2017-05-11 15:26 ChavinKing 阅读(3979) 评论(0) 推荐(0)
初次安装hive-2.1.0启动报错问题解决方法
摘要：首次安装hive-2.1.0，通过bin/hive登录hive shell命令行，报错如下： [hadoop@db03 hive-2.1.0]$ bin/hive which: no hbase in (/opt/service/jdk1.7.0_67/bin:/opt/service/jdk1.7 阅读全文
posted @ 2017-05-08 12:08 ChavinKing 阅读(5440) 评论(0) 推荐(1)
LAMP下安装zabbix流水
摘要：一、安装zabbix （1）创建用户和组 [root@dbking zabbix-2.2.1]# groupadd zabbix [root@dbking zabbix-2.2.1]# useradd -g zabbix zabbix （2）准备数据库 mysql> create database 阅读全文
posted @ 2017-05-03 20:20 ChavinKing 阅读(265) 评论(0) 推荐(0)
ESXI虚拟机磁盘管理（精简-厚置-精简）
摘要：VMwareESX/ESXi 精简置备(thin)与厚置备(thick)虚拟机磁盘之间转换 VMwareESX/ESXi 虚拟机磁盘thin与thick之间转换 注意:转换前请先关闭虚拟机!!! 一. Thin to Thick转换 Thin to Thick转换比较简单,在图形界面即可操作; 1. 浏览数据存储 点击虚拟机所在的ESX/ESXi主机,在”配置”选项卡下的”存储器”内... 阅读全文
posted @ 2017-05-03 20:17 ChavinKing 阅读(15412) 评论(0) 推荐(0)
VMware esxi 5.5装机方案
摘要：1、测试环境下，VMware esxi 5.5环境基本配置如下（主机环境以实际为准）： 2、裸机安装VMware esxi 5.5步骤： 1）将ESXi安装程序CD/DVD 插入 CD/DVD-ROM 驱动器，或连接安装程序USB闪存驱动器并重新启动计算机。将BIOS设置为从CD-ROM设备或USB 阅读全文
posted @ 2017-05-03 20:12 ChavinKing 阅读(7809) 评论(0) 推荐(0)
SCSI共享磁盘
摘要：服务器端： [root@scsi ~]# fdisk -l Disk /dev/sda: 32.2 GB, 32212254720 bytes 255 heads, 63 sectors/track, 3916 cylinders Units = cylinders of 16065 * 512 = 阅读全文
posted @ 2017-05-03 20:08 ChavinKing 阅读(990) 评论(0) 推荐(0)
xp上使用vsphere client报错问题
摘要：出现该问题的原因是新版本的esxi和vcenter中增强了加密强度，而Windows XP和Windows Server 2003未能达到所需加密强度,client发起的链接被esxi和vcenter拒绝。 解决方法： 对于vCenter 修改VCenter Server配置文件vpxd.cfg 文 阅读全文
posted @ 2017-05-03 18:08 ChavinKing 阅读(465) 评论(0) 推荐(0)
HiveQL之Database相关操作
摘要：CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=property_valu 阅读全文
posted @ 2017-05-02 17:01 ChavinKing 阅读(633) 评论(0) 推荐(0)