随笔分类 -  Hadoop

Java API操作HDFS
摘要：package project.etl.core.util; import java.io.FileNotFoundException;import java.io.IOException; import org.apache.hadoop.conf.Configuration;import org 阅读全文
posted @ 2019-10-13 12:15 笙歌散尽，醉挽清风 阅读(236) 评论(0) 推荐(0)
HDFS的Java API的访问方式实例代码
摘要：版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/u010176083/article/details/52464558———————————————— 实现代码 要导入的包： 版权声明：本文 阅读全文
posted @ 2019-10-11 14:21 笙歌散尽，醉挽清风 阅读(290) 评论(0) 推荐(0)
HDFS基本操作
摘要：HDFS基本操作 一、hadoop搭建 1、修改主机名 2、ip等 3、主机映射 4、关闭防火墙(两种) 5、ssh免密登录(免密脚本) 6、安装jdk 配置环境变量 7、安装hadoop 配置文件的修改 hadoop-env.sh JAVA_HOME core-site.xml 客户端参数 nam 阅读全文
posted @ 2019-10-11 12:15 笙歌散尽，醉挽清风 阅读(375) 评论(0) 推荐(0)
CDH集群添加Kerberos并使用Java代码调用HDFS和Spark on YARN
摘要：CDH集群添加Kerberos并使用Java代码调用HDFS和Spark on YARN 2018-04-12 21:58:50 小小Tiny 阅读数 1289更多 分类专栏： 大数据 CDH集群添加Kerberos并使用Java代码调用HDFS和Spark on YARN 2018-04-12 2 阅读全文
posted @ 2019-10-10 18:22 笙歌散尽，醉挽清风 阅读(1605) 评论(0) 推荐(0)
使用Java API操作hdfs
摘要：使用Java Api 操作HDFS 如题 我就是一个标题党 就是使用JavaApi操作HDFS，使用的是MAVEN，操作的环境是Linux 首先要配置好Maven环境，我使用的是已经有的仓库，如果你下载的jar包 速度慢，可以改变Maven 下载jar包的镜像站改为 阿里云。 贴一下 pom.xml 阅读全文
posted @ 2019-09-27 12:01 笙歌散尽，醉挽清风 阅读(340) 评论(0) 推荐(0)