摘要: 说明: 版本: 1,解压 spark 解压 spark 到目录 /usr/local [hadoop@YunMaster ~]$ sudo tar -zxf spark-2.0.0-bin-hadoop2.6.tgz -C /usr/local 进入目录 /usr/local,查看 [hadoop@ 阅读全文
posted @ 2020-10-16 00:04 子崖子崖 阅读(146) 评论(0) 推荐(0)
摘要: 说明: 版本:CentOS 7 + 系列: 一,云服务器准备 1,购买云服务器 2,进入实例详情页面 实例与镜像 -> 实例 -> 选择实例所在的区域 -> 点击实例名进入实例详情页面 在这里可以查看实例详情信息 3,修改Centos主机名 基本信息 -> 更多 -> 编辑实例属性 自由设置,这里设 阅读全文
posted @ 2020-10-12 00:53 子崖子崖 阅读(626) 评论(0) 推荐(0)
摘要: 说明:使用Eclipse开发Servlet 版本:eclipse-jee-2019-03-R-win32-x86_64.zip + apache-tomcat-8.0.53-test + jdk1.8.0_231 一,下载 java 和 tomcat 1,下载安装 java JAVA_HOME D: 阅读全文
posted @ 2020-10-07 00:25 子崖子崖 阅读(1252) 评论(0) 推荐(0)
摘要: 常用HDSF命令 hadoop fs -help ls 查阅帮助 hadoop fs -ls [-R] <path> [遍历]查看目录 hadoop fs -cat <path> 查看文件 hadoop fs -du <path> 显示文件大小 hadoop fs -rm [-r] <path> [ 阅读全文
posted @ 2020-08-20 16:33 子崖子崖 阅读(41) 评论(0) 推荐(0)
摘要: 使用 VMware15 和 Centos7 来验证 前提条件: 1 ,开启 DHCP,并且配置其 IP地址池范围为128~254 2,新建 Centos7 测试网络连通性 步骤 一:配置 步骤 二:验证 1,直接打开以太网,DHCP 起作用,将其 IP地址池范围的第一个 ip地址分配给 Centos 阅读全文
posted @ 2020-08-19 16:25 子崖子崖 阅读(2101) 评论(0) 推荐(0)
摘要: 一,单词统计 统计输入文本中的单词个数。 map:分割行中的单词,单词为key,1为value。reduce:统计key的数目。 其他:自定义combiner。 import java.io.IOException; import java.util.Iterator; import java.ut 阅读全文
posted @ 2020-08-18 22:37 子崖子崖 阅读(239) 评论(0) 推荐(0)
摘要: 只是为了记录一下,出处看最后 一,安装 apache 1,安装 apache [hadoop@YunMaster ~]$ sudo yum -y install httpd httpd-manual mod_ssl mod_perl mod_auth_mysql 2,启动 apache [hadoo 阅读全文
posted @ 2020-06-22 21:38 子崖子崖 阅读(150) 评论(0) 推荐(0)
摘要: 说明: 版本:sqoop-1.4.7 + CentOS 7 + Hadoop 2.6 + Java 8 + VMware 15 + putty + win 10 系列: 一,安装sqoop 1,解压sqoop 进入存放 sqoop 的目录 [hadoop@master ~]$ cd /mnt/hgf 阅读全文
posted @ 2020-05-26 10:37 子崖子崖 阅读(379) 评论(0) 推荐(0)
摘要: 一,安全模式介绍 ? 二,丢失块(blocks) 描述:在浏览器的集群管理界面显示 (安全模式打开。报告的块149需要额外的4个块来达到总块153的阈值0.9990。活动数据节点1的数量已达到最小值0。一旦达到阈值,安全模式将自动关闭。) 解决方法: 1,删除丢失块 (1)退出安全模式 [hadoo 阅读全文
posted @ 2020-05-19 14:29 子崖子崖 阅读(128) 评论(0) 推荐(0)
摘要: 说明: 版本:IDEA2019.3.3 + apache-maven-3.6.3 一,maven配置 1,下载maven 进入 官网 ,下载二进制文件。这里下载的是 apache-maven-3.6.3-bin.tar.gz 2,解压到目录,这里解压到 D:\Program Files\maven\ 阅读全文
posted @ 2020-05-18 18:39 子崖子崖 阅读(1635) 评论(0) 推荐(0)