摘要：
1.简单命令 对表的操作： create--创建表 list--查看table表的名称，类似show tables； descript--查看表的主体结构 scan--查看表的实体内容 disable/enable--表的可用性 drop--删除表（需要先可用性为disable） 对内容的操作： p 阅读全文
posted @ 2018-08-20 16:32
潜水闲鱼
阅读(265)
评论(0)
推荐(0)
摘要：
统计薪酬最高的和薪酬分布情况，下面包括表的创建和sql语句： 添加相应数据后得到表employee为： 查询最高薪酬: 得到结果为： 查看薪酬分组和百分比情况： 结果如图： 阅读全文
posted @ 2018-08-14 22:55
潜水闲鱼
阅读(1167)
评论(0)
推荐(0)
摘要：
hive的安装和MySQL的安装以及关联，这里不再赘述，本章主要讲一下hive2的使用以及一些需要注意的问题。 一.因为现在hive已经不能满足人们更高的需求了，所以hive2成为了主流的应用查询和计算工具。hive将MapReduce的源代码进行封装， 通过写sql语句将其以MapReduce的方 阅读全文
posted @ 2018-08-10 16:43
潜水闲鱼
阅读(516)
评论(0)
推荐(0)
摘要：
当你在启动HDFS和MapReduce的时候，大家都可能习惯了， 只要在其中一台关联的虚拟机上启动，或者是在含有namenode的机器上进行启动。 启动的方法可以分别启动dfs和yarn，如start-dfs.sh,start-yarn.sh;也可以一起启动，start-all.sh。 然后会jps 阅读全文
posted @ 2018-08-10 15:43
潜水闲鱼
阅读(565)
评论(0)
推荐(0)
摘要：
1.hive安装，配置文件无需复制default文件，只需要touch一个hive-site.xml文件即可，配置无外乎最基本的四项。即四项connection。 2.启动hive 之前，首先确定防火墙均已经关闭，其次，要将Hadoop启动。 3.随后可以启动hive。 beeline: 1、当启动 阅读全文
posted @ 2018-08-03 23:31
潜水闲鱼
阅读(825)
评论(0)
推荐(0)
摘要：
1.环境变量的配置 /etc/profile 如果出现了命令不能被识别，很可能是路径错误： export HIVE_HOME = 你hive解压后安装的绝对路径export PATH=$PATH:$HIVE_HOME/bin path如果不是上面的样子，也可以是.:$HIVE_HOME/bin:$P 阅读全文
posted @ 2018-07-30 17:41
潜水闲鱼
阅读(176)
评论(0)
推荐(0)
摘要：
对于安装步骤，网上一大堆，我就不再赘述，大家可以度娘一起，今天只说说安装过程的一些坑： 1.当对系统用户授权后，会生成日志文件，里面含有初次登录MySQL的初始密码，文件位置为/var/log/mysqld.log。 如果你查不到密码怎么办，进不去了吗？ 你可以强行进入： 1.关闭mysql # s 阅读全文
posted @ 2018-07-30 17:22
潜水闲鱼
阅读(178)
评论(0)
推荐(0)
摘要：
在上一篇关于单词的统计博文中，已经阐述了详细的导包和执行步骤， 可以查看参考，本文主要显示对用户流量统计的代码实现过程，并对其进行了分组。 代码： 底层的FlowWriteable： 分组partion类： mapper类： reduce类： 任务提交类： 接下来就是生产jar包，将其导入虚拟机，执 阅读全文
posted @ 2018-07-25 16:20
潜水闲鱼
阅读(336)
评论(0)
推荐(0)
摘要：
一、需要的jar包 Hadoop-2.4.1\share\hadoop\hdfs\hadoop-hdfs-2.4.1.jar hadoop-2.4.1\share\hadoop\hdfs\lib\所有jar包 hadoop-2.4.1\share\hadoop\common\hadoop-commo 阅读全文
posted @ 2018-07-25 16:11
潜水闲鱼
阅读(825)
评论(0)
推荐(0)
摘要：
本次主要是简单的对Hadoop中HDFS中文件的操作，可自行先添加文件，或者直接上传文件操作实验。 去不代码如下： 阅读全文
posted @ 2018-07-16 18:07
潜水闲鱼
阅读(610)
评论(0)
推荐(0)
浙公网安备 33010602011771号