04 2017 档案
摘要:承接安装系列hadoop,hive hive 与 kylin的搭建 在原有hadoop+hbase+hive+spark基础上搭建 hive 配置环境变量添加如下:/etc/profile和 ~/.bash_profile export HCAT_HOME=$HIVE_HOME/hcatalog e
阅读全文
摘要:承接安装系列hadoop,hbase 部署到(cdh5.5.1) 安装flume 下载安装包并解压 flume-ng-1.6.0-cdh5.5.1.tar.gz 配置环境变量:~/.bash_profile export FLUME_HOME=/itcast/flume-1.6.0 export P
阅读全文
摘要:部分调优 spark-env.sh: spark.speculation 的节点上也尝试执行该任务的一个副本。打开此选项会帮助减少大规模集群中个别较慢的任务带来的影响。默认值false spark.driver.memory 为driver进程分配的内存。注意:在客户端模式中,不能在SparkCon
阅读全文
摘要:1.自从spark2.0.0发布没有assembly的包了,在jars里面,是很多小jar包 修改目录查找jar 2.异常HiveConf of name hive.enable.spark.execution.engine does not exist 在hive-site.xml中: hive.
阅读全文
摘要:承接安装系列环境 背景:Hive默认使用MapReduce作为执行引擎,即Hive on mr。实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲S
阅读全文
摘要:Mondrian对Hive的支持 一.测试Mondrian对Hive的支持 1.创建一个web项目,把olap4j.jar Mondrian.jar以及hive相关的jar包放进项目中 2. 准备四张表 Customer - 客户信息维表 Product - 产品维表 ProductType - 产
阅读全文
摘要:承接安装系列hadoop,hbase环境 //hive 安装一个节点 1.上传tar包 2.解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /itcast/ 3.mkdir /itcast/hive-1.2.1/logs 4./itcast/hive-1.2
阅读全文
摘要:承接安装系列hadoop环境 1.上传hbase安装包 tar -zxvf hbase-0.96.2-hadoop2-bin.tar.gz -C /itcast/ 2.解压 3.配置hbase集群,要修改3个文件(首先zk集群已经安装好了) 注意:要把hadoop的hdfs-site.xml和cor
阅读全文
摘要:操作过程中主要出现以下几个错误: Unsupported major.minor version 51.0 处理办法: eclipse下的项目的jdk环境和liux下的jdk环境不一致,将windows下的eclipse中的jdk环境与linux的环境更改一致 切换linux的jdk版本为1.7:
阅读全文
摘要:yum -y install lzo-devel zlib-devel gcc autoconf automake libtool gcc-c++ openssl-devel ncurses-devel ant maven protocolbuf findbugs cmake 1、Protobuf
阅读全文
摘要:注意:apache官网提供的hadoop-2.x的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库, 所以如果在64位的操作上安装hadoop-2.6.0就需要重新在64操作系统上重新编译 安装 yum install psmisc Killall -9 java 安装 gli
阅读全文
摘要:单词计数 数据去重 排序 Top K 选择 投影 分组 多表连接 单表关联
阅读全文
摘要:单词计数 数据去重 排序 Top K 选择 投影 分组 多表连接 单表关联
阅读全文
摘要:自0.96版本之后,hbase 源码结构上做了很大的优化,目录结构也发生了变化,做了精简和优化,这里以0.98.8为例介绍,目录如下: /hbase/.tmp /hbase/WALs /hbase/archive /hbase/corrupt /hbase/data /hbase/hbase.id
阅读全文
摘要:自0.96版本之后,hbase 源码结构上做了很大的优化,目录结构也发生了变化,做了精简和优化,这里以0.98.8为例介绍,目录如下: /hbase/.tmp /hbase/WALs /hbase/archive /hbase/corrupt /hbase/data /hbase/hbase.id
阅读全文
摘要:例1 执行命令: perl -p -i -e "s/China/Sumly/g" /www/*.htm /www/*.txt 上面的意思是说将www文件夹下所有的htm和txt文件中的“China”都替换为“Sumly” 例2 执行命令: perl -p -i -e "s/memory_produc
阅读全文
摘要:例1 执行命令: perl -p -i -e "s/China/Sumly/g" /www/*.htm /www/*.txt 上面的意思是说将www文件夹下所有的htm和txt文件中的“China”都替换为“Sumly” 例2 执行命令: perl -p -i -e "s/memory_produc
阅读全文
摘要:phoenix自带了执行sql脚本的功能,这样方便了希望能够直接将一些关系型数据库的数据进行迁移到Hbase(也可以直接使用sqoop进行导入)。 在【PHOENIX_HOME】目录下创建user.sql,内容如下: -- create table user create table if not
阅读全文
摘要:phoenix自带了执行sql脚本的功能,这样方便了希望能够直接将一些关系型数据库的数据进行迁移到Hbase(也可以直接使用sqoop进行导入)。 在【PHOENIX_HOME】目录下创建user.sql,内容如下: -- create table user create table if not
阅读全文
摘要:Phoenix--HBase的JDBC驱动 序列(Sequence)是Phoenix提供的允许产生单调递增数字的一个SQL特性,序列会自动生成顺序递增的序列号,以实现自动提供唯一的主键值。 使用CREATE SEQUENCE语句建立序列的语法如下: create sequence [start wi
阅读全文
摘要:Phoenix--HBase的JDBC驱动 序列(Sequence)是Phoenix提供的允许产生单调递增数字的一个SQL特性,序列会自动生成顺序递增的序列号,以实现自动提供唯一的主键值。 使用CREATE SEQUENCE语句建立序列的语法如下: create sequence [start wi
阅读全文
摘要:操作过程: 第一步删除phoenix中系统的表格信息,主要为SYSTEM.CATALOG,第二步删除Hbase中的表格信息。 操作步骤: (1)查询phoenix系统表 SYSTEM.CATALOG 内容是所有表格的信息,系统表和自建表 SYSTEM.FUNCTION 内容是所有函数信息,系统函数和
阅读全文
摘要:操作过程: 第一步删除phoenix中系统的表格信息,主要为SYSTEM.CATALOG,第二步删除Hbase中的表格信息。 操作步骤: (1)查询phoenix系统表 SYSTEM.CATALOG 内容是所有表格的信息,系统表和自建表 SYSTEM.FUNCTION 内容是所有函数信息,系统函数和
阅读全文
摘要:借助securtCRT,使用linux命令sz可以很方便的将服务器上的文件下载到本地,使用rz命令则是把本地文件上传到服务器 其中,对于sz和rz的理解与记忆我用了如下的方法(因为很多时候容易搞混): sz中的s意为send(发送),告诉客户端,我(服务器)要发送文件 send to cilent,
阅读全文
摘要:借助securtCRT,使用linux命令sz可以很方便的将服务器上的文件下载到本地,使用rz命令则是把本地文件上传到服务器 其中,对于sz和rz的理解与记忆我用了如下的方法(因为很多时候容易搞混): sz中的s意为send(发送),告诉客户端,我(服务器)要发送文件 send to cilent,
阅读全文
摘要:将node1配置成一个time server,修改/etc/ntp.conf, [root@node1 ~]vi /etc/ntp.conf 其他的配置不怎么需要改,只需要关注restrict的配置: 1. 注释掉原来的restrict default ignore这一行,这一行本身是不响应任何的n
阅读全文
摘要:将node1配置成一个time server,修改/etc/ntp.conf, [root@node1 ~]vi /etc/ntp.conf 其他的配置不怎么需要改,只需要关注restrict的配置: 1. 注释掉原来的restrict default ignore这一行,这一行本身是不响应任何的n
阅读全文
摘要:创建数据表时我们经验会添加一些中文注释到表里面方便识别,最近在测试Hive的时候,发现添在Hive创建表时添加COMMENT时的中文注释就会出现乱码,如下: 图片不能显示 解压思路: 1、查看存放Hive元数据信息的数据库表字符集;是否因为字符集问题 mysql> show create table
阅读全文
摘要:创建数据表时我们经验会添加一些中文注释到表里面方便识别,最近在测试Hive的时候,发现添在Hive创建表时添加COMMENT时的中文注释就会出现乱码,如下: 解压思路: 1、查看存放Hive元数据信息的数据库表字符集;是否因为字符集问题 mysql> show create table COLUMN
阅读全文
摘要:mondrian.rolap: class RolapConnectionPool{ ...... private synchronized ObjectPool getPool(Object key, ConnectionFactory connectionFactory) { ObjectPoo
阅读全文
摘要:mondrian.rolap: class RolapConnectionPool{ ...... private synchronized ObjectPool getPool(Object key, ConnectionFactory connectionFactory) { ObjectPoo
阅读全文
摘要:Window->Perferences: General->Startup: MyEclipse Java Enterprise Development Tooling以上的都勾除 MyEclipse->Validation: Build列全部删除
阅读全文
摘要:Window->Perferences: General->Startup: MyEclipse Java Enterprise Development Tooling以上的都勾除 MyEclipse->Validation: Build列全部删除
阅读全文
摘要:yum -y install lzo-devel zlib-devel gcc autoconf automake libtool gcc-c++ openssl-devel ncurses-devel ant maven protocolbuf findbugs cmake 1、Protobuf
阅读全文