随笔分类 -  hadoop入门

Mongodb启停命令
摘要：启动mongodb bin/mongod -f single/mongod.conf 需要在mongodb路径下 连接 bin/mongo --host=192.168.88.151 需要在mongodb路径下 关闭服务 客户端登录服务，注意，这里通过localhost登录，如果需要远程登录，必须先 阅读全文
posted @ 2022-10-19 20:54 权。 阅读(143) 评论(0) 推荐(0)
Hbase启动命令
摘要：启动hadoop集群 start-all.sh 启动zookeeper bin/zkServer.sh start 需要在zookeeper目录下 启动hbase hbase-start.sh 可以通过16010web界面查看是否启动成功 启动phoenix bin/sqlline.py node1 阅读全文
posted @ 2022-10-18 10:33 权。 阅读(98) 评论(0) 推荐(0)
Vue3 Echarts 3D柱状图搭建
摘要：最近学习大数据，需要数据可视化，所以特地去学习了一下echarts，通过springboot+vue 整合了echarts 三维柱状图。先看效果。 因为我是初学vue脚手架，对一些vue内置方法不是很熟悉，所以踩了很多坑，建议新手小白可以直接按我的结构来写。 我这里的代码只展示第一个三维柱状图。 官 阅读全文
posted @ 2022-10-10 11:17 权。 阅读(2103) 评论(2) 推荐(1)
石铁大软工Hive极限测试
摘要：这周二我们20级软工进行了Hive数据清洗分析可视化的极限测试。 本来这是一个5个小时完成的项目，我整整做了两天还要多一点，而且我之前已经配置好了所有的环境。做的过程中心态一定要好，不要轻易破防！！！ 这次测试的流程主要分为五个步骤。 1、数据导入 2、数据清洗 3、数据分析处理 4、Sqoop导入 阅读全文
posted @ 2022-10-09 11:15 权。 阅读(425) 评论(0) 推荐(0)
Scoop导出数据到MySQL
摘要：配置好Sqoop之后，我需要把HDFS上的结构化数据转到MySQL（虚拟机）表格中，下面是具体步骤。 首先我们准备一份结构化数据emp_data.txt 1201,gopal,manager,50000,TP 1202,manisha,preader,50000,TP 1203,kalil,php 阅读全文
posted @ 2022-08-24 16:07 权。 阅读(137) 评论(0) 推荐(0)
Sqoop安装部署
摘要：今天进行了Sqoop的安装部署工作。 1、导入Sqoop的tar包到/export/server下,并进行解压。 cd export/servers 进入相应目录 tar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 解压Sqoop包 mv sqoo 阅读全文
posted @ 2022-08-24 11:03 权。 阅读(84) 评论(0) 推荐(0)
基于FineBI的可视化报表
摘要：今天跟着视频学习了大数据里面的可视化数据分析。我感觉难点其实还是在sql的数据分析上，需要对数据进行清洗，分析，整理出新表，最后之间导入表格就可以做出可视化表格，重点还是SQL。对于一些SQL写法一定要熟悉，还要Hive仓库提供的内置函数。 下面时我做的报表。 阅读全文
posted @ 2022-08-22 16:16 权。 阅读(135) 评论(0) 推荐(0)
Hive常用内置函数
摘要：Hive 常用的内置函数 show functions;describe function extended count; String Functions 字符串函数 select length("itcast");select reverse("itcast");select concat("a 阅读全文
posted @ 2022-08-19 15:28 权。 阅读(148) 评论(0) 推荐(0)
hive后台启动并进入beeline连接
摘要：start-all.sh 启动hadoop服务yarn nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore & 启动Hive第一代客户端 nohup /export/server/apache-hive-3. 阅读全文
posted @ 2022-08-19 15:27 权。 阅读(346) 评论(0) 推荐(1)
Hive使用Load加载数据操作
摘要：Hive使用Load进行加载数据操作分为两种情况。第一种是文件在虚拟机本地，另一种是文件在HDFS文件系统根目录。对应两种情况，底层也会进行复制、移动操作。 虚拟机本地加载 这里事先将txt文件放到了root的hivedata目录下。 -- 从本地加载数据 数据位于HS2（node1）本地文件系统 阅读全文
posted @ 2022-08-19 13:39 权。 阅读(1984) 评论(0) 推荐(1)
Hive建库建表
摘要：这里我使用的是DataGrip可视化工具。 第一次跟视频操作主要熟悉并记录一下流程。 先在虚拟机node3上创建一个数据库wjb 0: jdbc:hive2://node1:10000> create database wjb; 在数据库里创建表格，使用DataGrip工具 --1、创建一张表，将射 阅读全文
posted @ 2022-08-18 19:28 权。 阅读(286) 评论(0) 推荐(0)
HDFS shell命令行常用操作
摘要：1、创建文件夹 hadoop fs -mkdir [-p] ... path 为待创建的目录 -p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。 hadoop fs -mkdir -p /wjb/itcast 2、查看指定目录下内容 hadoop fs -ls [-h] [ 阅读全文
posted @ 2022-08-17 11:35 权。 阅读(160) 评论(0) 推荐(0)
linux命令大全
摘要：Linux常用命令大全（非常全！！！） 最近都在和Linux打交道，感觉还不错。我觉得Linux相比windows比较麻烦的就是很多东西都要用命令来控制，当然，这也是很多人喜欢linux的原因，比较短小但却功能强大。我将我了解到的命令列举一下，仅供大家参考： 系统信息 arch 显示机器的处理器架构 阅读全文
posted @ 2022-08-14 18:29 权。 阅读(69) 评论(0) 推荐(0)
hadoop入门之虚拟机安装
摘要：今天按照黑马的视频和课程资料安装了三台Centos的linux虚拟机，步骤非常简单但是视频提示会有很多踩坑的点，我就比较顺利从VMware安装到激活，网络的配置以及虚拟机的安装都非常顺利，三台虚拟机的网络也完成了搭建。 阅读全文
posted @ 2022-08-14 10:29 权。 阅读(46) 评论(0) 推荐(0)