2023年9月9日
hudi-0.12 编译与集成
摘要： 环境 hadoop：2.7.2 hive：2.3.1 spark：2.4.4 flink：1.13.0 1.下载hudi源码包 Index of /dist/hudi/0.12.0 (apache.org) hudi-0.12.0.src.tgz tar -zxf hudi-0.12.0.src.t 阅读全文
posted @ 2023-09-09 18:53 何雪原 阅读(344) 评论(0) 推荐(0)
hive2.3.1部署
摘要： 1.安装本人安装hive1.2.1的方式准备mysql和hive hadoop2.7.2上安装hive - 何雪原 - 博客园 (cnblogs.com) 2.不同点为配置hive-site.xml时，需要在文件中额外添加配置 <!--hive2需要初始换元数据 schematool -initSc 阅读全文
posted @ 2023-09-09 14:25 何雪原 阅读(43) 评论(0) 推荐(0)
spark2.4.4安装
摘要： 1、环境准备： 下载spark-2.4.4-bin-hadoop2.7.tgz 上传安装包到Linux中 解压安装包 tar -zxf spark-2.4.4-bin-hadoop2.7.tgz -C /hadoop/app 2、配置环境 2.1修改hadoop中yarn-site.xml <pro 阅读全文
posted @ 2023-09-09 13:40 何雪原 阅读(125) 评论(0) 推荐(0)
2023年7月9日
hadoop2.7. 序列化对象
摘要： 1.在hadoop中必须序列化对象后，才能进行网络传输,不使用java序列化的原因是：java序列化对象会添加很多信息，造成对象的字节数变大，hadoop序列化为一种高效的序列化 如果在实际生产中，BooleanWrite、IntWrite，Text，FloatWrite等数据类型无法满足要求，就需 阅读全文
posted @ 2023-07-09 19:34 何雪原 阅读(13) 评论(0) 推荐(0)
hadoop2.7.2 wordcount案例
摘要： 1.配置pom.xml <!--依赖--> <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> <depen 阅读全文
posted @ 2023-07-09 17:17 何雪原 阅读(17) 评论(0) 推荐(0)
2023年7月8日
hadoop2.7.2上安装hive
摘要： hive版本1.21 mysql版本5.6.24 1.解压hive tar -zxf apache-hive-1.2.1-bin.tar.gz -C ../app/ cd ../app/ ln -s apache-hive-1.2.1-bin hive 2.安装mysql 注：参考Linux安装My 阅读全文
posted @ 2023-07-08 14:30 何雪原 阅读(67) 评论(0) 推荐(0)
centos7配置chrony时间同步
摘要： 环境 192.168.100.10 服务端 192.168.100.11 客户端 192.168.100.12 客户端 1.确认防火墙和selinux已经停止 2.yum -y install chrony 3.服务端配置 vim /etc/chrony.conf ##将默认server注释掉，添加 阅读全文
posted @ 2023-07-08 00:55 何雪原 阅读(426) 评论(0) 推荐(0)
2023年7月6日
centos7配置阿里云yum源
摘要： # wget下载 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo # curl下载（如果yum安装wget失败的话用curl） curl -o /etc/yum.repos. 阅读全文
posted @ 2023-07-06 18:27 何雪原 阅读(107) 评论(0) 推荐(0)
2023年6月11日
国内maven仓库
摘要： 靠谱的国内镜像仓库 阿里云镜像仓库：https://maven.aliyun.com/repository/public 华为云镜像仓库：https://mirrors.huaweicloud.com/repository/maven/ 腾讯云镜像仓库：https://mirrors.cloud.t 阅读全文
posted @ 2023-06-11 23:48 何雪原 阅读(688) 评论(0) 推荐(0)
2023年6月8日
scala中集合的简单操作
摘要： println(" 不可变数组 ") //不可变数组 val arr1 = Array(1, 2, 3) val arr2 = arr1 :+ "4b" //尾部追加 val arr3 = "我" +: -1 +: 0 +: arr1 //头部追加 println(arr2.mkString(", 阅读全文
posted @ 2023-06-08 15:28 何雪原 阅读(19) 评论(0) 推荐(0)
下一页