日常 - 随笔分类(第22页) - yesyes1

linux系统设置ssh免密登录

摘要：# 1、服务器生成密钥 ``` ssh-keygen help //查看ssh-keygen命令相关具体的使用信息 ssh-keygen -t rsa //生成密钥 ``` 然后直接**三个回车**即可；会在根目录下生成.ssh的文件夹； ![](https://img2023.cnblogs.c 阅读全文

posted @ 2023-08-23 23:52 yesyes1 阅读(246) 评论(0) 推荐(0)

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable问题的解决

摘要：# 问题描述使用**start-dfs.sh**命令开启hdfs服务时，爆出这样的警告信息 ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230823232839118-954209712.png) # 问题解决可以先阅读全文

posted @ 2023-08-23 23:29 yesyes1 阅读(126) 评论(0) 推荐(0)

DataGrip软件下载教程

摘要：# 1、下载地址：https://www.jetbrains.com/datagrip/download ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230822154918141-1657495150.png) 下载之阅读全文

posted @ 2023-08-22 16:19 yesyes1 阅读(110) 评论(0) 推荐(0)

基于Hive数仓实现需求开发

摘要：# 1、建库建表与加载数据 ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230822101522516-97193522.png) 上传到HDFS，即加载数据，可以使用命令行进行上传，还可以直接在网页里面进行上传；在D 阅读全文

posted @ 2023-08-22 11:39 yesyes1 阅读(33) 评论(0) 推荐(0)

Hive相关学习

摘要：# 1、服务启动 ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230821161258541-1598369060.png) ![](https://img2023.cnblogs.com/blog/2808014/20 阅读全文

posted @ 2023-08-21 16:33 yesyes1 阅读(13) 评论(0) 推荐(0)

Spark安装的配置相关步骤

摘要：# 1、Spark下载地址：https://archive.apache.org/dist/spark/ 选择自己适合的版本： ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230817210052623-54781902 阅读全文

posted @ 2023-08-20 22:52 yesyes1 阅读(78) 评论(0) 推荐(0)

Scala相关的安装部署

摘要：# 需要注意的是，Scala需要在jdk已经安装配置好的情况下进行配置 # 1、Scala下载地址：https://www.scala-lang.org/download/all.html ![](https://img2023.cnblogs.com/blog/2808014/202308/280 阅读全文

posted @ 2023-08-17 20:53 yesyes1 阅读(11) 评论(0) 推荐(0)

MYSQL与Hive配置的相关步骤

摘要：# 1、配置元数据到MYSQL #### 1、新建Hive元数据库登录Mysql： ``` mysql -uroot -p //不加分号 ``` ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-2023081715275115 阅读全文

posted @ 2023-08-17 15:59 yesyes1 阅读(192) 评论(0) 推荐(0)

ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this statement.问题的解决

摘要：# 问题描述想要在linux系统里面使用mysql时，出现了这样的报错信息 # 问题解决 ``` mysql> set global validate_password_policy=LOW; mysql> set global validate_password_length=9; ``` ![ 阅读全文

posted @ 2023-08-17 15:22 yesyes1 阅读(104) 评论(0) 推荐(0)

Apache hive安装配置的相关步骤

摘要：# 1、Hive下载地址http://archive.apache.org/dist/hive/ 我选择的是Hive的这个版本： ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230817095816544-1154047 阅读全文

posted @ 2023-08-17 15:09 yesyes1 阅读(72) 评论(0) 推荐(0)

Apache Hive相关基础学习

摘要：# 1、Hive概念 ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230816141336599-82360523.png) 使用Hive处理数据的好处： ![](https://img2023.cnblogs.com/ 阅读全文

posted @ 2023-08-16 17:14 yesyes1 阅读(14) 评论(0) 推荐(0)

数据仓库的相关学习

摘要：# 1、数据仓库概念--为了分析数据 ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230816135456920-193373932.png) 数仓专注分析： ![](https://img2023.cnblogs.co 阅读全文

posted @ 2023-08-16 14:12 yesyes1 阅读(14) 评论(0) 推荐(0)

YARN相关学习

摘要：# 1、YARN简介（资源管理系统、调度平台） ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230814155024635-884204415.png) # 2、YARN的构件和组件官方架构图： ![](https:/ 阅读全文

posted @ 2023-08-14 16:57 yesyes1 阅读(10) 评论(0) 推荐(0)

有关MapReuce的学习二

摘要：# 1、WordCount编程实现思路 ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230813220414634-1358163781.png) # 2、Map阶段的执行流程 ![](https://img2023.c 阅读全文

posted @ 2023-08-13 22:22 yesyes1 阅读(13) 评论(0) 推荐(0)

有关MapReduce的学习一

摘要：# 1、MapReduce思想 ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230813165622120-124983360.png) 主要分为两个阶段： ![](https://img2023.cnblogs.com 阅读全文

posted @ 2023-08-13 21:47 yesyes1 阅读(13) 评论(0) 推荐(0)

WARNING: Use of this script to execute namenode is deprecated. WARNING: Attempting to execute replacement "hdfs namenode" instead.问题的解决

摘要：# 问题描述在我使用这个命令进行hdfs初始化时： ``` hadoop-daemon.sh start namenode ``` 爆出了这样的警告 # 问题解决发现是这个命令现在已经有一点过时，需要换成这个命令才行： ``` hdfs namenode ``` 阅读全文

posted @ 2023-08-13 10:09 yesyes1 阅读(1122) 评论(0) 推荐(0)

HDFS工作流程与机制

摘要：# 1、各个角色的职责 ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230812101509538-1098113401.png) 主角色：NameNode ![](https://img2023.cnblogs.com 阅读全文

posted @ 2023-08-12 10:24 yesyes1 阅读(19) 评论(0) 推荐(0)

今日学习HDFS相关内容

摘要：# 1、Shell命令行解释说明 # HDFS简介 ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230811144341013-1965117360.png) # HDFS应用场景 ![](https://img2023 阅读全文

posted @ 2023-08-11 23:10 yesyes1 阅读(11) 评论(0) 推荐(0)

Hadoop初体验

摘要：# 1、HDFS初体验 ![](https://img2023.cnblogs.com/blog/2808014/202308/2808014-20230810182752246-478715480.png) 既能够通过后台的终端命令进行文件的管理，也可以通过Web UI界面进行相关的操作；可以知阅读全文

posted @ 2023-08-10 18:39 yesyes1 阅读(20) 评论(0) 推荐(0)

Hadoop集群启停命令以及Web UI界面的相关介绍

摘要：# 1、Hadoop集群的启停命令（我是将文件都配置好了，直接使用最方便的启停命令就能进行使用） ``` start-all.sh stop-all.sh ``` # 2、HDFS集群的Web UI界面 ![](https://img2023.cnblogs.com/blog/2808014/202 阅读全文

posted @ 2023-08-10 18:11 yesyes1 阅读(290) 评论(0) 推荐(0)

liuzijin

随笔分类 - 日常

公告