09 2021 档案

摘要:完成内容: 1.Hbase的API import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;import org.apac 阅读全文
posted @ 2021-09-30 13:30 1905-1雷宇 阅读(86) 评论(0) 推荐(0)
摘要:完成内容: 1.编写2019 级课堂测试试卷-HIVE 数据分析 echart listbean package echart;public class listBean { private String name; private int num; public String getName() 阅读全文
posted @ 2021-09-29 11:44 1905-1雷宇 阅读(81) 评论(0) 推荐(0)
摘要:完成内容: 1.编写2019 级课堂测试试卷-HIVE 数据分析 统计代理商2 insert overwrite table leiyu3 select day_id as day_id ,sale_nbr as sale_nbr,count(*) from leilei where sale_nb 阅读全文
posted @ 2021-09-28 23:11 1905-1雷宇 阅读(78) 评论(0) 推荐(0)
摘要:完成内容: 1.编写2019 级课堂测试试卷-HIVE 数据分析 4统计机场 insert overwrite table leiyu select day_id as day_id ,sale_nbr as sale_nbr,sum(cnt) as cnt ,sum(round) as round 阅读全文
posted @ 2021-09-27 20:00 1905-1雷宇 阅读(55) 评论(0) 推荐(0)
摘要:完成内容: 1.编写2019 级课堂测试试卷-HIVE 数据分析 1HIVE创建表 2导入数据 3修改日期 insert overwrite table leilei select date_add('2021-09-00',cast(day_id as int)) as day_id,sale_n 阅读全文
posted @ 2021-09-24 09:06 1905-1雷宇 阅读(75) 评论(0) 推荐(0)
摘要:完成内容: 1.hbase的shell 操作 遇到问题: 我 目标:继续学习hadoop 阅读全文
posted @ 2021-09-23 11:00 1905-1雷宇 阅读(54) 评论(0) 推荐(0)
摘要:完成内容: 1.Hbase的启动 bin/hbase-daemon.sh start master bin/hbase-daemon.sh start regionserver 2.学习Hbase操作 遇到问题: 无 目标:继续学习hadoop 阅读全文
posted @ 2021-09-22 21:23 1905-1雷宇 阅读(45) 评论(0) 推荐(0)
摘要:完成内容: 1.Hbase的定义和结构 2.Hbase的部署 Hadoop集群的部署 Zookeeper的部署 3.Hbase的下载和解压 tar -zxvf hbase-1.3.1-bin.tar.gz -C/opt/module 4.配置相关文件 hbase-site.xml <configur 阅读全文
posted @ 2021-09-21 15:30 1905-1雷宇 阅读(43) 评论(0) 推荐(0)
摘要:完成内容: 1.zookeeper的脚本编写 #!/bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo zookeeper $i 启动 ssh $i "/opt/module/zookeeper-3 阅读全文
posted @ 2021-09-20 20:43 1905-1雷宇 阅读(76) 评论(0) 推荐(0)
摘要:完成内容: 1.学习zookeeper的定义和用法 2.下载和安装 tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/ mv apache-zookeeper-3.5.7 -bin/zookeeper-3.5.7 3.启动zooke 阅读全文
posted @ 2021-09-17 21:15 1905-1雷宇 阅读(84) 评论(0) 推荐(0)
摘要:完成内容: 1.hive的操作 查询 SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference [WHERE where_condition] [GROUP BY col_list] [ORDER BY co 阅读全文
posted @ 2021-09-17 15:41 1905-1雷宇 阅读(78) 评论(0) 推荐(0)
摘要:完成内容: 1.学习hive操作 创建表 CREATE DATABASE [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WITH DBPROPERTIES (property_name=p 阅读全文
posted @ 2021-09-16 15:13 1905-1雷宇 阅读(82) 评论(0) 推荐(0)
摘要:完成内容: 1.配置hive-site.xml <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <!-- jdbc 连接的 URL --> <prope 阅读全文
posted @ 2021-09-15 21:20 1905-1雷宇 阅读(81) 评论(0) 推荐(0)
摘要:完成内容: 1.hive的定义及特点 2.hive的下载和安装 tar -zxvf /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module/ mv /opt/module/apache-hive-3.1.2-bin//opt/module/ 阅读全文
posted @ 2021-09-14 23:19 1905-1雷宇 阅读(72) 评论(0) 推荐(0)
摘要:完成内容: 1.实操HDSFS命令 package com.leiyu.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.junit.After;import org.j 阅读全文
posted @ 2021-09-13 11:18 1905-1雷宇 阅读(67) 评论(0) 推荐(0)
摘要:完成内容: 1.实操HDSFS命令 配置maven工程 打印日志 文件上传 遇到问题: 无 目标:继续学习hadoop 阅读全文
posted @ 2021-09-10 20:47 1905-1雷宇 阅读(50) 评论(0) 推荐(0)
摘要:完成内容: 1.学习HDFS定义及特点 2.学习HDFS的shell操作 遇到问题: 无 目标:继续学习hadoop 阅读全文
posted @ 2021-09-09 21:08 1905-1雷宇 阅读(85) 评论(0) 推荐(0)
摘要:这周完成内容: 1.shell脚本--myhadoop.sh,hadoop集群启动和关闭 #!/bin/bash if [ $# -lt 1 ] then echo "No Args Input..." exit ; fi case $1 in "start") echo " 启动 hadoop 集 阅读全文
posted @ 2021-09-08 22:09 1905-1雷宇 阅读(55) 评论(0) 推荐(0)
摘要:完成内容: 1.添加shell脚本-xsync,实现集群间的文件复制 #!/bin/bash#1. 判断参数个数if [ $# lt 1 ]thenecho Not Enough Arguement!exit;fi #2. 遍历集群所有机器 for host in centos01 centos02 阅读全文
posted @ 2021-09-07 09:16 1905-1雷宇 阅读(134) 评论(0) 推荐(0)
摘要:完成内容: 1.wmware的安装 2.centos7的安装 3.关闭防火墙及自启动 4.卸载虚拟机自带jdk并安装指定jdk 4.设置IP 5.克隆虚拟机并修改IP 6.设置主机映射及虚拟机映射 7.安装hadoop 遇到问题: 防火墙关闭失败 解决: https://blog.csdn.net/ 阅读全文
posted @ 2021-09-06 11:55 1905-1雷宇 阅读(42) 评论(0) 推荐(0)