随笔分类 -  大数据

解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
摘要：1.首先在我们下载 Hadoop Home 目录下有 hadoop.dll 和 winutils.exe 两个文件 2.我们需要把 hadoop.dll 拷贝到系统盘 C:\Windows\System32 下，如图所示： 3.重新启动 IDEA 重新运行即可 阅读全文
posted @ 2021-09-15 22:44 duniqb 阅读(423) 评论(0) 推荐(0)
Hadoop完全分布式运行模式之集群搭建
摘要：一、集群配置 1.规划： NameNode 和 SecondaryNameNode 不要安装在同一台服务器， ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在同一台机器上。 hadoop102 hadoop103 hadoop104 阅读全文
posted @ 2021-04-21 21:26 duniqb 阅读(272) 评论(0) 推荐(0)
Hadoop完全分布式运行模式搭建之基础安装
摘要：一、JDK 配置 Hadoop 运行需要依赖于 JDK 环境，下载好 Linux 版并解压到 /opt/module/jdk1.8.0_212 里 tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/ 然后为 JDK 设置环境变量，在 /etc/p 阅读全文
posted @ 2021-04-19 18:19 duniqb 阅读(98) 评论(0) 推荐(0)
Flink基础之实现WordCount程序（Java版本多种写法）
摘要：一、概述 WordCount（单词计数）一直是大数据入门的经典案例，下面用 Java 实现 Flink 的 WordCount 代码 二、创建 Maven 工程 下面是 pom.xml 文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns= 阅读全文
posted @ 2020-12-01 21:18 duniqb 阅读(1636) 评论(0) 推荐(0)