小平哥Keeping

摘要： hdfs的权限判断十分简单，就是拿发出指令的user name和文件的user name 做比较 private void check(INode inode, FsAction access ) throws AccessControlException { if (inode == null) 阅读全文

摘要： 一、实现要点 常用可视化图表库 Echarts HighCharts D3.js neo4j (NOSQL) 二、数据处理 阅读全文

摘要： 一、启动集群时 1.节点启动失败 1.1端口占用 1.2找不到路径 1.3子节点启动失败 1.4连接失败 二、HDFS操作 三、运行MR时 四、HIVE启动时 HWI的页面打不开时，要导入4个jar包到指定目录下。 五、SQOOP 阅读全文

摘要： 一，sqoop安装 二、命令介绍 三、数据导入 1.数据导入到HDFS 2.数据导入到HIVE 先将数据文件导入到HDFS上，产生一个临时文件 成功后将数据上传到HIVE，成功则删除hdfs上的临时文件 1.导入至HDFS ->临时文件的路径:当前执行sqoop命令的家目录 -> 目录名称：不指定自 阅读全文

摘要： 一、内置函数 1.一般常用函数 1.取整函数 round（） 当传入第二个参数则为精度 bround（） 银行家舍入法：为5时，前一位为偶则舍，奇则进。 2.向下取整 floor（） 3.向上取整 ceil/ceiling（） 4.生成随机数 rand （） 范围[0,1),传入种子时生成稳定随机数 阅读全文

摘要： 一、安装的过程 二、注意事项 导入相应的jar包到hive安装目录的lib目录下 commons-el-1.0.jar jasper-compiler(runtime)-xx.jar tools.jar 配置hive-site.xml，指定hwi的目录 三、使用 操作很简洁，通过创建会话sessio 阅读全文

摘要： 一、别名的使用 二、GROUP BY 三、连接查询 left semi join ：如果左表的主键在右边中存在则打印该行，右表的信息不会打印，主要用于过滤。 阅读全文

摘要： 一、连接查询有以下几种 1.内连接查询 2.外链接查询 3.卡迪尔积 二、SQL中的一些约束条件 三、SQL中常用的一些函数 阅读全文

摘要： 三、HIVE的JDBC 四、常用的建表语句 创建时一般需指定表的结构等信息 存储空间最小， 查询的效率最高 ， 需要通过text文件转化来加载， 加载的速度最低。 压缩快 快速列存取。 读记录尽量涉及到的block最少 读取需要的列只需要读取每个row group 的头部定义。 读取全量数据的操作 阅读全文

摘要： 一、简介 百度百科HIVE定义： hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的M 阅读全文