05 2018 档案

【Hive六】Hive调优小结
摘要：Hive调优 <! TOC "Hive调优" "Fetch抓取" "本地模式" "表的优化" "小表、大表Join" "大表Join大表" "MapJoin" "Group By" "Count(Distinct) 去重统计" "行列过滤" "动态分区调整" "案例实操" "数据倾斜" "Map数" 阅读全文
posted @ 2018-05-31 22:34 Lil-K 阅读(676) 评论(1) 推荐(0)
【Hive五】Hive函数UDF
摘要：Hive函数 系统自带的函数 查看系统自带的函数 查看系统自带的函数 显示自带的函数的用法 详细显示自带的函数的用法 自定义函数描述 描述 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user defined function），详情请查看： "官网 阅读全文
posted @ 2018-05-31 22:33 Lil-K 阅读(2010) 评论(0) 推荐(0)
【Hive四】Hive基本查询
摘要：Hive查询 <! TOC "Hive查询" "基本查询" "全表和特定字段查询" "列别名" "算术运算符" "常用函数" "Limit语句" "Hive之where语句" "介绍" "比较运算符（Between/In/ Is Null）" "案例操作" "Like和RLike" "逻辑运算符（A 阅读全文
posted @ 2018-05-31 11:52 Lil-K 阅读(601) 评论(0) 推荐(0)
【Hbase三】Java,python操作Hbase
摘要：Java,python操作Hbase <! TOC "操作Hbase" "python操作Hbase" "安装Thrift之前所需准备" "安装Thrift" "产生针对Python的Hbase的API" "启动Thrift服务" "执行python文件，对hbase进行操作" "模块存放位置" " 阅读全文
posted @ 2018-05-30 11:45 Lil-K 阅读(533) 评论(0) 推荐(0)
【Hive三】Hive理论
摘要：1. Hive基础 <! TOC "1. Hive基础" "Hive基本概念" "引入原因：" "Hive是什么" "Hive数据管理" "四种数据模型" "Hive内部表和外部表" "Hive数据类型" "Hive的优化" "Map的优化：" "Reduce 的优化" "一个Reduce:" "分 阅读全文
posted @ 2018-05-28 22:07 Lil-K 阅读(547) 评论(0) 推荐(0)
【Storm一】Storm安装部署
摘要：storm安装部署 解压storm安装包 $ tar zxvf apache storm 1.1.0.tar.gz C /usr/local/src 修改解压后的apache storm 1.1.0.tar.gz文件名称为storm 1.1.0 $ mv apache storm 1.1.0 sto 阅读全文
posted @ 2018-05-22 23:58 Lil-K 阅读(170) 评论(0) 推荐(0)
【Thrift一】Thrift安装部署
摘要：Thrift安装部署 <! TOC "Thrift安装部署" "下载源码包" "安装g++" "解压Thrift安装包" "安装boost开发工具" "测试(python版)" <! /TOC 下载源码包 安装g++ centos: 如果没有安装g++，无法编译 解压Thrift安装包 安装boos 阅读全文
posted @ 2018-05-22 23:52 Lil-K 阅读(341) 评论(0) 推荐(0)
【Hbase二】环境搭建
摘要：此笔记仅用于作者记录复习使用，如有错误地方欢迎留言指正，作者感激不尽，如有转载请指明出处 Hbase环境搭建 <! TOC "Hbase环境搭建" "hadoop为HA的Hbase配置" "Zookeeper集群的正常部署并启动" "Hadoop集群的正常部署并启动" "解压HBase" "修改HB 阅读全文
posted @ 2018-05-22 09:47 Lil-K 阅读(151) 评论(0) 推荐(0)
【Hbase一】基础
摘要：此笔记仅用于作者记录复习使用，如有错误地方欢迎留言指正，作者感激不尽，如有转载请指明出处 Hbase基础 <! TOC "Hbase基础" "Hbase定义" "行存储 v s 列存储" "Hbase数据模型" "Hbase物理模型" "Hbase系统架构" "Hbase的容错" "Hbase特殊的 阅读全文
posted @ 2018-05-21 22:03 Lil-K 阅读(158) 评论(0) 推荐(0)
kafka概述
摘要：kafka概述 1. Apache Kafka是一个开源 消息 系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2. Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供 阅读全文
posted @ 2018-05-16 18:33 Lil-K 阅读(206) 评论(0) 推荐(0)
zookeeper环境搭建(Linux)
摘要：安装zookeeper 1. 安装jdk(此处省略) 2. 解压tar包并配置变量环境 配置文件修改 1. 将/usr/local/src/zookeeper 3.4.5/conf这个路径下的zoo_sample.cfg重命名为zoo.cfg 2. 进入zoo.cfg文件：vim zoo.cfg 3 阅读全文
posted @ 2018-05-09 16:36 Lil-K 阅读(106) 评论(0) 推荐(0)
kafka(一)----kafka安装部署
摘要：kafka安装部署 <! TOC "kafka安装部署" "安装并启动zookeeper" "解压kafka压缩包" "进入kafka目录，创建logs文件夹" "进入config目录修改配置文件" "修改server.properties文件" "分发kafkad整个目录到其他机器节点" "添加变 阅读全文
posted @ 2018-05-09 16:33 Lil-K
VSCode插件整理
摘要：VSCode插件整理 VSCode插件整理 官网地址 vscode常用配置(User Settings文件) 基本插件 前端插件 VUE部分 python MarkDown部分 连接Linux 本地与博客园xmlrpc插件 官网地址 官网地址 vscode常用配置(User Settings文件) 阅读全文
posted @ 2018-05-07 08:39 Lil-K
新的阶段，新的起点
摘要：技术路上遇到更好自己！！！！！ 阅读全文
posted @ 2018-05-06 22:39 Lil-K 阅读(115) 评论(0) 推荐(0)
hadoop2.5.0 HA高可用配置
摘要：hadoop2.5.0 HA配置 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop 2.5.0 cdh5.3.6/etc/hadoop目录，修改hadoop env.sh，core site.xml，hdfs site.xml，mapred site.xml ，yar 阅读全文
posted @ 2018-05-06 18:24 Lil-K
hadoop2.7.2集群搭建
摘要：hadoop2.7.2集群搭建 1.修改hadoop中的配置文件 进入/usr/local/src/hadoop 2.7.2/etc/hadoop目录，修改hadoop env.sh，core site.xml，hdfs site.xml，mapred site.xml ，yarn site.xml 阅读全文
posted @ 2018-05-06 18:23 Lil-K
【Hive二】 Hive基本使用
摘要：Hive基本使用 创建数据库 创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/ .db 避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法） 创建一个数据库，指定数据库在HDFS上存放的位置 修改数据库 用户可以使用ALTER 阅读全文
posted @ 2018-05-06 18:16 Lil-K 阅读(275) 评论(0) 推荐(0)
【Hive一】Hive安装及配置
摘要：Hive安装及配置 下载hive安装包 此处以hive 0.13.1 cdh5.3.6版本的为例，包名为：hive 0.13.1 cdh5.3.6.tar.gz 解压Hive到安装目录 $ tar xvf hive 0.13.1 cdh5.3.6.tar.gz 重命名配置文件 mv hive def 阅读全文
posted @ 2018-05-06 18:07 Lil-K 阅读(648) 评论(0) 推荐(0)