09 2018 档案

hadoop组件概念理解
摘要：一、HADOOP 二、HIVE 三、SQOOP 1.来由和作用 sqoop由一些封装好的MR程序的jar包构成，后演变成框架，但sqoop只有map任务没有reduce任务。 用于 hdfs、hive、hbase 和关系型数据库RDBMS之间数据的导入导出。 2.导入到hdfs过程 2.1 gath 阅读全文
posted @ 2018-09-29 21:06 小平哥Keeping 阅读(307) 评论(0) 推荐(0)
linux执行命令返回码释义
摘要：Linux 操作系统错误代码解释 OS error code 0: Success 操作系统错误代码0：成功 OS error code 1: Operation not permitted 操作系统错误代码1：操作不允许 OS error code 2: No such file or direc 阅读全文
posted @ 2018-09-29 15:50 小平哥Keeping 阅读(2430) 评论(0) 推荐(0)
hdfs命令大全
摘要：hdfs常用命令：第一部分：hdfs文件系统命令第一类：文件路径增删改查系列：hdfs dfs -mkdir dir 创建文件夹hdfs dfs -rmr dir 删除文件夹dirhdfs dfs -ls 查看目录文件信息hdfs dfs -lsr 递归查看文件目录信息hdfs dfs -stat 阅读全文
posted @ 2018-09-28 19:29 小平哥Keeping 阅读(3294) 评论(0) 推荐(0)
shell小记
摘要：1.以#!/bin/bash 开头2.执行方式 bash sh ./ `script`3.变量： 系统变量 自定义变量 >export 可导出为全局环境变量 set显示所有shell变量 unset 取消变量 readonly静态变量不能被unset4.获取命令返回值 A=`ls -al` A=$( 阅读全文
posted @ 2018-09-28 11:20 小平哥Keeping 阅读(111) 评论(0) 推荐(0)
hadoop安装
摘要：一、解压 tar -zxvf hadoop-xxxx.tar.gz 二、配置文件 1.core-site.xml <configuration> <!-- Hadoop文件系统依赖的基础配置 --> <property> <name>hadoop.tmp.dir</name> <value>/hom 阅读全文
posted @ 2018-09-27 21:57 小平哥Keeping 阅读(115) 评论(0) 推荐(0)
web小结
摘要：一、ajax 1.用于前端向服务器异步获取数据 json数组：可以直接通过数组下标获取到值 json对象：可以用“data.xx”获取到值 2.注意事项 同时请求两个ajax时，容易出现异常，第一个ajax改为“asyc：false” 二、jquery 1.获取元素 获取页面元素 $("#t2") 阅读全文
posted @ 2018-09-27 17:30 小平哥Keeping 阅读(125) 评论(0) 推荐(0)
linux上网络问题
摘要：一、网络连接失败，不能访问 1.现象描述 network 服务不能启动， ping不通， Device not managed by NetworkManager or unavailable 2.network和NetworkManager network ： 对网卡的配置 NetworkMana 阅读全文
posted @ 2018-09-26 09:18 小平哥Keeping 阅读(140) 评论(0) 推荐(0)
HIVE函数的UDF、UDAF、UDTF
摘要：一、词义解析 UDF(User-Defined-Function) 一进一出 UDAF（User- Defined Aggregation Funcation） 多进一出 （聚合函数，MR） UDTF(User-Defined Table-Generating Functions) 一进多出（生成多 阅读全文
posted @ 2018-09-23 15:30 小平哥Keeping 阅读(432) 评论(0) 推荐(0)
HADOOP操作权限问题
摘要：hdfs的权限判断十分简单，就是拿发出指令的user name和文件的user name 做比较 private void check(INode inode, FsAction access ) throws AccessControlException { if (inode == null) 阅读全文
posted @ 2018-09-20 11:18 小平哥Keeping 阅读(549) 评论(0) 推荐(0)
Echarts简单图表
摘要：一、实现要点 常用可视化图表库 Echarts HighCharts D3.js neo4j (NOSQL) 二、数据处理 阅读全文
posted @ 2018-09-19 21:40 小平哥Keeping 阅读(138) 评论(0) 推荐(0)
hadoop常见错误解决方法
摘要：一、启动集群时 1.节点启动失败 1.1端口占用 1.2找不到路径 1.3子节点启动失败 1.4连接失败 二、HDFS操作 三、运行MR时 四、HIVE启动时 HWI的页面打不开时，要导入4个jar包到指定目录下。 五、SQOOP 阅读全文
posted @ 2018-09-18 21:46 小平哥Keeping 阅读(1701) 评论(0) 推荐(0)
sqoop安装与简单实用
摘要：一，sqoop安装 二、命令介绍 三、数据导入 1.数据导入到HDFS 2.数据导入到HIVE 先将数据文件导入到HDFS上，产生一个临时文件 成功后将数据上传到HIVE，成功则删除hdfs上的临时文件 1.导入至HDFS ->临时文件的路径:当前执行sqoop命令的家目录 -> 目录名称：不指定自 阅读全文
posted @ 2018-09-18 20:37 小平哥Keeping 阅读(617) 评论(0) 推荐(0)
hive的内置函数和自定义函数
摘要：一、内置函数 1.一般常用函数 1.取整函数 round（） 当传入第二个参数则为精度 bround（） 银行家舍入法：为5时，前一位为偶则舍，奇则进。 2.向下取整 floor（） 3.向上取整 ceil/ceiling（） 4.生成随机数 rand （） 范围[0,1),传入种子时生成稳定随机数 阅读全文
posted @ 2018-09-14 22:06 小平哥Keeping 阅读(752) 评论(0) 推荐(0)
HWI的安装
摘要：一、安装的过程 二、注意事项 导入相应的jar包到hive安装目录的lib目录下 commons-el-1.0.jar jasper-compiler(runtime)-xx.jar tools.jar 配置hive-site.xml，指定hwi的目录 三、使用 操作很简洁，通过创建会话sessio 阅读全文
posted @ 2018-09-14 20:39 小平哥Keeping 阅读(202) 评论(0) 推荐(0)
Hive中使用sql的注意事项
摘要：一、别名的使用 二、GROUP BY 三、连接查询 left semi join ：如果左表的主键在右边中存在则打印该行，右表的信息不会打印，主要用于过滤。 阅读全文
posted @ 2018-09-13 19:23 小平哥Keeping 阅读(971) 评论(0) 推荐(0)
SQL语句--连接查询
摘要：一、连接查询有以下几种 1.内连接查询 2.外链接查询 3.卡迪尔积 二、SQL中的一些约束条件 三、SQL中常用的一些函数 阅读全文
posted @ 2018-09-12 20:26 小平哥Keeping 阅读(793) 评论(0) 推荐(0)
hive的简单使用
摘要：三、HIVE的JDBC 四、常用的建表语句 创建时一般需指定表的结构等信息 存储空间最小， 查询的效率最高 ， 需要通过text文件转化来加载， 加载的速度最低。 压缩快 快速列存取。 读记录尽量涉及到的block最少 读取需要的列只需要读取每个row group 的头部定义。 读取全量数据的操作 阅读全文
posted @ 2018-09-12 19:05 小平哥Keeping 阅读(245) 评论(0) 推荐(0)
HIVE简介及安装
摘要：一、简介 百度百科HIVE定义： hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的M 阅读全文
posted @ 2018-09-11 21:46 小平哥Keeping 阅读(228) 评论(0) 推荐(0)
HADOOP-输出数据实体类承载
摘要：新建一个bean包： 1.实现Writerable 2.有一个空的构造方法 代码实现： 1 import java.io.DataInput; 2 import java.io.DataOutput; 3 import java.io.IOException; 4 5 import org.apac 阅读全文
posted @ 2018-09-10 21:54 小平哥Keeping 阅读(150) 评论(0) 推荐(0)
学习资源分享，也欢迎大家分享！
只有注册用户登录后才能阅读该文。
posted @ 2018-09-08 20:50 小平哥Keeping 阅读(24) 评论(0) 推荐(0)