随笔分类 -  Hadoop

hadoop搭建七：spark
摘要：说明： 版本： 1，解压 spark 解压 spark 到目录 /usr/local [hadoop@YunMaster ~]$ sudo tar -zxf spark-2.0.0-bin-hadoop2.6.tgz -C /usr/local 进入目录 /usr/local，查看 [hadoop@ 阅读全文
posted @ 2020-10-16 00:04 子崖子崖 阅读(147) 评论(0) 推荐(0)
hadoop shell操作
摘要：常用HDSF命令 hadoop fs -help ls 查阅帮助 hadoop fs -ls [-R] <path> [遍历]查看目录 hadoop fs -cat <path> 查看文件 hadoop fs -du <path> 显示文件大小 hadoop fs -rm [-r] <path> [ 阅读全文
posted @ 2020-08-20 16:33 子崖子崖 阅读(42) 评论(0) 推荐(0)
hadoop基础编程【施工中】
摘要：一，单词统计 统计输入文本中的单词个数。 map：分割行中的单词，单词为key，1为value。reduce：统计key的数目。 其他：自定义combiner。 import java.io.IOException; import java.util.Iterator; import java.ut 阅读全文
posted @ 2020-08-18 22:37 子崖子崖 阅读(240) 评论(0) 推荐(0)
hadoop搭建六：安装sqoop
摘要：说明： 版本：sqoop-1.4.7 + CentOS 7 + Hadoop 2.6 + Java 8 + VMware 15 + putty + win 10 系列： 一，安装sqoop 1，解压sqoop 进入存放 sqoop 的目录 [hadoop@master ~]$ cd /mnt/hgf 阅读全文
posted @ 2020-05-26 10:37 子崖子崖 阅读(380) 评论(0) 推荐(0)
hadoop安全模式【施工中】
摘要：一，安全模式介绍 ？ 二，丢失块（blocks） 描述：在浏览器的集群管理界面显示 （安全模式打开。报告的块149需要额外的4个块来达到总块153的阈值0.9990。活动数据节点1的数量已达到最小值0。一旦达到阈值，安全模式将自动关闭。） 解决方法： 1，删除丢失块 （1）退出安全模式 [hadoo 阅读全文
posted @ 2020-05-19 14:29 子崖子崖 阅读(128) 评论(0) 推荐(0)
hadoop搭建五：安装Hive（+mysql）
摘要：说明：安装mysql和Hive，单纯以学习hadoop为目的。 版本：VMware 15 + CentOS 7 + Hadoop 2.6 + hive 1.1 + mysql 5.7 +putty + win10 系列： 一，安装mysql 1，卸载 MariaDB 先查看系统附带的 mariadb 阅读全文
posted @ 2020-03-31 00:12 子崖子崖 阅读(610) 评论(0) 推荐(0)
IDEA上编写hadoop程序（Maven）
摘要：说明：在IDEA上进行编写简单的hadoop程序，适用于个人简单入门 版本：IDEA2019.3.3 + Hadoop2.6 + java8 + win10 系列： 一，创建项目 1，创建项目 2，选择Maven，选择自己的JDK，不用选择Create from archetype(创建表单原型)， 阅读全文
posted @ 2020-03-10 16:37 子崖子崖 阅读(4839) 评论(0) 推荐(0)
hadoop搭建二：伪分布式
摘要：说明：搭建hadoop伪分布式，单纯以学习hadoop为目的。 版本：VMware 15 + CentOS 7 + Hadoop 2.6 + Java 8 + putty + win 10 系列： 一，网络配置 1，查看主机名，修改为master [hadoop@master ~]$ sudo vi 阅读全文
posted @ 2020-03-10 16:34 子崖子崖 阅读(265) 评论(0) 推荐(0)
hadoop搭建一：安装CentOS
摘要：说明：搭建hadoop前准备，单纯以学习hadoop为目的 版本：VMware 15 + CentOS 7 + Hadoop 2.6 + putty + win 10 系列： 一，配置VMware虚拟网络编辑器 1，打开编辑 -> 虚拟网络编辑器 2，更改设置 -> 选择NAT模式 -> 关闭使用本 阅读全文
posted @ 2020-03-10 16:32 子崖子崖 阅读(395) 评论(0) 推荐(0)