HDFS 在本地使用java API上传文件到阿里云ECS报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block | could only be replicated to 0 nodes instead of minReplication (=1)

摘要： HDFS 在本地使用java API上传文件到阿里云ECS报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block org.apache.hadoop.ipc.RemoteException(java.io.IOE 阅读全文
posted @ 2022-06-28 18:29 yang_12138 阅读(437) 评论(0) 推荐(0)

Spark的五种JOIN策略解析

摘要： Spark的五种JOIN策略解析 文章转载地址：https://baijiahao.baidu.com/s?id=1709308473224276897&wfr=spider&for=pc JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本 阅读全文
posted @ 2022-05-16 10:12 yang_12138 阅读(363) 评论(0) 推荐(0)

Hive 日期时间相关函数总结

摘要： Hive 日期时间相关函数 版本环境：hive-2.1.1 一、日期获取 current_date() 获取当前日期 select current_date(); --返回类型'yyyy-mm-dd' current_timestamp() 获取当前日期时间 select current_times 阅读全文
posted @ 2022-03-24 20:47 yang_12138 阅读(1201) 评论(0) 推荐(0)

mac每次打开终端都需要source ~/.bashrc以及～/.bash_profile问题

摘要： 问题描述 在学习git的时候在~/.bashrc下面配置了git log命令的别名 #用于输出git提交日志 alias git-log='git log --pretty=oneline --all --graph --abbrev-commit' 但是在使用过程中出现了出现了报错，命令不存在，每 阅读全文
posted @ 2022-02-09 23:32 yang_12138 阅读(672) 评论(0) 推荐(0)

Linux安装MySQL详细步骤（CentOS6、CentOS7）

摘要： 1、查看mysql的依赖(centos7 要把mysql改成mariadb) rpm -qa | grep mysql 2、删除mysql的依赖，可以两个都执行(centos7 要把mysql改成mariadb) rpm -e --nodeps `rpm -qa | grep mysql`或者 rp 阅读全文
posted @ 2021-04-19 23:04 yang_12138 阅读(608) 评论(0) 推荐(0)

Hive安装教程

摘要： ##Hive的安装和使用 我的版本： JAVA_HOME=/usr/local/soft/jdk1.8.0_171 HADOOP_HOME=/usr/local/soft/hadoop-2.7.6 HIVE_HOME=/usr/local/soft/hive-1.2.1 ##一、离线安装mysql 阅读全文
posted @ 2021-04-19 22:33 yang_12138 阅读(2922) 评论(0) 推荐(0)

HBase安装教程

摘要： ##一、版本介绍 linux : CentOS7 Hadoop : 2.7.6 zookeeper : 3.4.6 hbase : 1.4.6 jdk : jdk1.8.0_171 三个节点的主机名分别为：master、node1、node2 ##二、安装Hadoop HBase 是在 Hadoop 阅读全文
posted @ 2021-04-19 20:12 yang_12138 阅读(4552) 评论(0) 推荐(1)

Hadoop集群搭建

摘要： 本人也是初学者，学习过程中做的笔记。能力有限，有不足之处欢迎指教！！！！ 一、环境配置 操作系统：Centos 7 jdk：1.8 Hadoop 2.7.6 三个节点主机名分别为 master node1 node2 二、安装前的准备 1、安装jdk 把jdk的jar包上传到/usr/local/s 阅读全文
posted @ 2021-04-03 21:28 yang_12138 阅读(900) 评论(0) 推荐(0)

Redis集群安装详细步骤

摘要： 环境： Centos7 redis3.0 三台虚拟机主机名分别为 master node1 node2 如果单机的时候设置过密码最好把密码去掉，避免位置的错误。 拍个快照方便恢复。 1、创建安装目录 在master ,node1 ,node2中分别创建 1 mkdir /usr/local/soft 阅读全文
posted @ 2021-04-03 19:10 yang_12138 阅读(282) 评论(0) 推荐(0)

Python绘图工具turtle库的使用

摘要： 一、turtle基本情况 turtle（海归）库是turtle绘图体系的Python实现 -turtle绘图体系：1969年诞生，主要用于程序设计入门 -Python语言的标准库之一 Python计算生态 = 标准库 + 第三方库 标准库：随解释器直接安装到操作系统中的功能模块 第三方库：需要经过安 阅读全文
posted @ 2019-07-15 23:40 yang_12138 阅读(1509) 评论(0) 推荐(0)
下一页
< 2025年6月 >
日 一 二 三 四 五 六
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 1 2 3 4 5
6 7 8 9 10 11 12

统计

点击右上角即可分享
微信分享提示