阿飞飞飞

hive函数大全

摘要：在hive内部有许多函数，如下：内置运算符关系运算符算术运算符逻辑运算符复杂类型函数内置函数内置聚合函数数学函数收集函数类型转换函数日期函数条件函数字符函数内置聚合函数内置表生成函数 1.1关系运算符 1. 等值比较: = 2. 等值比较:<=> 3. 不等值比较: <> 阅读全文

posted @ 2020-08-29 22:16 阿飞飞飞阅读(1526) 评论(0) 推荐(0)

hive的配置和HQL的查询优化

摘要： hive属于一种类SQL数据库配置信息 pwd =>/opt/bigdata/hadoop/hive110/conf hive110/conf/hive-site.xml配置 <?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml- 阅读全文

posted @ 2020-08-29 15:11 阿飞飞飞阅读(426) 评论(0) 推荐(0)

hadoop——高可用集群搭建的原理与方法

摘要：一、首先谈一谈zookeeper的选举机制注:高可用集群中有两台机器作为namenode,无论在任何时候，集群中只能有一个namenode作为active状态，而另一个是standby状态,为了达到namenode快速容错的目的，引入zookeeper后，hadoop-ha可以在active的na 阅读全文

posted @ 2020-08-28 23:03 阿飞飞飞阅读(946) 评论(0) 推荐(0)

Hadoop Combiner的三次测试...

摘要：当Client申请作业后，Resource Scheduler会进行调度，同时开启Map Task 和Reduce Task 测试一：mapper->reducer ##数据量<80Mb,在mapper端不设置combiner 若不设置combiner，经过map之后的文件数据将直接到达reduce 阅读全文

posted @ 2020-08-21 10:51 阿飞飞飞阅读(198) 评论(0) 推荐(0)

关于Hadoop集群的配置方法——另附安装网址

摘要： hadoop-2.6.0.tar.gz（压缩包网址 https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/）配置前需要配置主机名：vi etc/hosts ip loclhost ... 1、修改目录权限 chown -R root: 阅读全文

posted @ 2020-08-17 19:29 阿飞飞飞阅读(477) 评论(0) 推荐(0)

关于——This is probably not a problem with npm. There is likely additional logging output above.——的解决方法

摘要：在npm的安装时，npm install 出现了This is probably not a problem with npm. There is likely additional logging output above.错误！如下图：额外的日志输出错误！！！在网上百度了一般的解决方法，适用阅读全文

posted @ 2020-08-12 19:44 阿飞飞飞阅读(10560) 评论(0) 推荐(0)

关于./xxx.sh：No such file or directory 的问题解决

摘要：问题利用shell脚本启动从机的elasticsearch的时候发现，只有主机启动了，从机未启动，发现shell命令里面，找不到 ./remote.sh文件解决方法：由于shell脚本内用的是相对路径，不知道为什么系统未能读取，运用绝对路径重写，最后执行成功！ ./remote.sh => s 阅读全文

posted @ 2020-08-11 22:20 阿飞飞飞阅读(978) 评论(0) 推荐(0)

elasticsearch的配置

摘要： elasticsearch不能用root启动解决问题 ——es安装好之后，使用root启动会报错：can not run elasticsearch as root 所以在创建时需要将登录账号设置为游客登录：chown -R username:root es 一、位于es/config/下有三个文件阅读全文

posted @ 2020-08-10 11:01 阿飞飞飞阅读(524) 评论(0) 推荐(0)

如何在虚拟机上安装mysql...

摘要：注:由于本次安装方式为 online，所以需要对虚拟机连接外网进行配置 TYPE="Ethernet" BOOTPROTO="static" static 固定ip不变 DEFROUTE="yes" NAME="ens33" UUID="15149841-829c-4289-b55f-3ed794d 阅读全文

posted @ 2020-08-04 18:57 阿飞飞飞阅读(2978) 评论(0) 推荐(0)

JDK与Tomcat在虚拟机内的安装教程

摘要：注：准备工作-下载Xftp并关联数据库的ip 1、将JDK与Tomcat的安装包导入 1.1、建文件夹 /opt目录:这是给主机额外安装软件所摆放的目录在/opt目录下面新建两个目录，分别放置安装包和压缩包 mkdir bigdata install bigdata:放置压缩包 install:放阅读全文

posted @ 2020-08-04 16:33 阿飞飞飞阅读(443) 评论(0) 推荐(0)

导航

公告