HDFS 在本地使用java API上传文件到阿里云ECS报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block | could only be replicated to 0 nodes instead of minReplication (=1)

摘要: HDFS 在本地使用java API上传文件到阿里云ECS报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block org.apache.hadoop.ipc.RemoteException(java.io.IOE 阅读全文
posted @ 2022-06-28 18:29 yang_12138 阅读(330) 评论(0) 推荐(0) 编辑

Spark的五种JOIN策略解析

摘要: Spark的五种JOIN策略解析 文章转载地址:https://baijiahao.baidu.com/s?id=1709308473224276897&wfr=spider&for=pc JOIN操作是非常常见的数据处理操作,Spark作为一个统一的大数据处理引擎,提供了非常丰富的JOIN场景。本 阅读全文
posted @ 2022-05-16 10:12 yang_12138 阅读(315) 评论(0) 推荐(0) 编辑

Hive 日期时间相关函数总结

摘要: Hive 日期时间相关函数 版本环境:hive-2.1.1 一、日期获取 current_date() 获取当前日期 select current_date(); --返回类型'yyyy-mm-dd' current_timestamp() 获取当前日期时间 select current_times 阅读全文
posted @ 2022-03-24 20:47 yang_12138 阅读(840) 评论(0) 推荐(0) 编辑

mac每次打开终端都需要source ~/.bashrc以及~/.bash_profile问题

摘要: 问题描述 在学习git的时候在~/.bashrc下面配置了git log命令的别名 #用于输出git提交日志 alias git-log='git log --pretty=oneline --all --graph --abbrev-commit' 但是在使用过程中出现了出现了报错,命令不存在,每 阅读全文
posted @ 2022-02-09 23:32 yang_12138 阅读(548) 评论(0) 推荐(0) 编辑

Linux安装MySQL详细步骤(CentOS6、CentOS7)

摘要: 1、查看mysql的依赖(centos7 要把mysql改成mariadb) rpm -qa | grep mysql 2、删除mysql的依赖,可以两个都执行(centos7 要把mysql改成mariadb) rpm -e --nodeps `rpm -qa | grep mysql`或者 rp 阅读全文
posted @ 2021-04-19 23:04 yang_12138 阅读(559) 评论(0) 推荐(0) 编辑

Hive安装教程

摘要: ##Hive的安装和使用 我的版本: JAVA_HOME=/usr/local/soft/jdk1.8.0_171 HADOOP_HOME=/usr/local/soft/hadoop-2.7.6 HIVE_HOME=/usr/local/soft/hive-1.2.1 ##一、离线安装mysql 阅读全文
posted @ 2021-04-19 22:33 yang_12138 阅读(2813) 评论(0) 推荐(0) 编辑

HBase安装教程

摘要: ##一、版本介绍 linux : CentOS7 Hadoop : 2.7.6 zookeeper : 3.4.6 hbase : 1.4.6 jdk : jdk1.8.0_171 三个节点的主机名分别为:master、node1、node2 ##二、安装Hadoop HBase 是在 Hadoop 阅读全文
posted @ 2021-04-19 20:12 yang_12138 阅读(4095) 评论(0) 推荐(1) 编辑

Hadoop集群搭建

摘要: 本人也是初学者,学习过程中做的笔记。能力有限,有不足之处欢迎指教!!!! 一、环境配置 操作系统:Centos 7 jdk:1.8 Hadoop 2.7.6 三个节点主机名分别为 master node1 node2 二、安装前的准备 1、安装jdk 把jdk的jar包上传到/usr/local/s 阅读全文
posted @ 2021-04-03 21:28 yang_12138 阅读(806) 评论(0) 推荐(0) 编辑

Redis集群安装详细步骤

摘要: 环境: Centos7 redis3.0 三台虚拟机主机名分别为 master node1 node2 如果单机的时候设置过密码最好把密码去掉,避免位置的错误。 拍个快照方便恢复。 1、创建安装目录 在master ,node1 ,node2中分别创建 1 mkdir /usr/local/soft 阅读全文
posted @ 2021-04-03 19:10 yang_12138 阅读(266) 评论(0) 推荐(0) 编辑

Python绘图工具turtle库的使用

摘要: 一、turtle基本情况 turtle(海归)库是turtle绘图体系的Python实现 -turtle绘图体系:1969年诞生,主要用于程序设计入门 -Python语言的标准库之一 Python计算生态 = 标准库 + 第三方库 标准库:随解释器直接安装到操作系统中的功能模块 第三方库:需要经过安 阅读全文
posted @ 2019-07-15 23:40 yang_12138 阅读(1382) 评论(0) 推荐(0) 编辑