07 2017 档案

maven工程之pom模板（hadoop、hive、hbase）
摘要：以下配置文件涵盖了hadoop、hive、hbase开发支持库的配置。 仅需针对maven工程pom.xml文件做相应更改就可以自动生成hadoop开发支持库。 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourc 阅读全文
posted @ 2017-07-24 09:41 ChavinKing 阅读(4332) 评论(0) 推荐(0)
Hadoop开发环境配置2-eclipse集成maven插件
摘要：1、下载eclipse：eclipse-SDK-4.5-win32-x86_64.zip 下载地址： http://archive.eclipse.org/eclipse/downloads/drops4/R-4.5-201506032000/eclipse-SDK-4.5-win32-x86_64 阅读全文
posted @ 2017-07-24 09:36 ChavinKing 阅读(537) 评论(0) 推荐(0)
Hadoop开发环境配置1-maven安装配置
摘要：1、下载maven安装包：apache-maven-3.3.9-bin.zip 下载地址： http://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.zip 2、解压缩maven安装文件到D盘 阅读全文
posted @ 2017-07-24 09:33 ChavinKing 阅读(1447) 评论(0) 推荐(0)
Eclipse各个版本区别
摘要：1、eclipse下载地址： 最新版：http://www.eclipse.org/downloads/ 历史版：http://archive.eclipse.org/eclipse/downloads/ 2、eclipse IDE和eclipse SDK区别： SDK，全称Software Dev 阅读全文
posted @ 2017-07-24 09:28 ChavinKing 阅读(7363) 评论(0) 推荐(0)
hbase本地模式-安装及基本测试
摘要：解压缩hbase二进制安装文件到/opt目录下： #tar -zxvf hbase-0.98.6-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/ 编辑配置文件，这里仅配置数据目录，如果不指定数据目录，默认hbase数据存储在/tmp目录下： #vim conf/hbase-si 阅读全文
posted @ 2017-07-19 14:00 ChavinKing 阅读(2869) 评论(0) 推荐(1)
SQL优化思路大全
摘要：一、百万级数据库优化方案1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：select id from t where num is null最好不要给数据库留NULL，尽可能的使用 NOT NULL填充数据库.备注、描述、评论之... 阅读全文
posted @ 2017-07-19 11:20 ChavinKing 阅读(13403) 评论(0) 推荐(0)
hive归档分区
摘要：归档hive历史分区不会减少hdfs存储空间，但是可以有效减轻hadoop namenode的压力，尤其在于小文件比较多的情况下。 $mkdir $HIVE_HOME/auxlib $ cp /opt/cdh-5.3.6/hadoop-2.5.0/share/hadoop/tools/lib/had 阅读全文
posted @ 2017-07-16 20:42 ChavinKing 阅读(1472) 评论(0) 推荐(0)
Hive之变量和属性
摘要：首先看一下hive cli工具对于变量的定义规定的几项功能： $ bin/hive -h usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --defi 阅读全文
posted @ 2017-07-12 17:56 ChavinKing 阅读(2182) 评论(0) 推荐(0)
Oracle分析函数大全
摘要：分析函数又叫开窗函数，OLAP函数等，因为有人问我用过开窗函数没，呵，什么是开窗函数，从来没听过，难道是分析函数么。哈哈，最后还真是分析函数哦！用过的东西别名也应该知道，赶上这么个事，就剽窃一眼Oracle官档，另外借鉴网友的例子，整理了以下这篇文档，供大家参考。 一、分析函数列表 SUM：该函数计 阅读全文
posted @ 2017-07-11 16:30 ChavinKing 阅读(1969) 评论(0) 推荐(0)
Docker容器与容器云之Docker单机集群部署案例
摘要：准备工作： CentOS 7安装docker： #yum -y install docker 1、获取节点所需镜像 --主机执行 #docker pull django #docker pull haproxy #docker pull redis # docker images REPOSITOR 阅读全文
posted @ 2017-07-06 22:26 ChavinKing 阅读(2882) 评论(0) 推荐(1)
hive中的几个参数：元数据配置、仓库位置、打印表字段相关参数
摘要：hive仓库位置由以下参数决定，默认位置/user/hive/warehouse： <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> hive中元数 阅读全文
posted @ 2017-07-04 18:13 ChavinKing 阅读(518) 评论(0) 推荐(0)
启用hive hwi方法
摘要：hive启动hwi： ./hive --service hwi ls: cannot access /opt/cdh-5.3.6/hive-0.13.1/lib/hive-hwi-*.war: No such file or directory 17/05/12 09:29:47 INFO hwi. 阅读全文
posted @ 2017-07-04 17:49 ChavinKing 阅读(864) 评论(0) 推荐(0)
hive进行词频统计
摘要：统计文件信息： $ /opt/cdh-5.3.6/hadoop-2.5.0/bin/hdfs dfs -text /user/hadoop/wordcount/input/wc.input hadoop spark spark hadoop oracle mysql postgresql postg 阅读全文
posted @ 2017-07-04 12:39 ChavinKing 阅读(3633) 评论(0) 推荐(0)