Loading

摘要: 添加白名单和黑名单 白名单,表示在白名单的主机IP地址可以用来存储数据 企业中;配置白名单,可以尽量防止黑客恶意访问攻击。 配置白名单步骤如下:原文:sw-code 1)在NameNode节点的/opt/module/hadoop-3.1.3/etc/hadoop目录创建whitelist和blac 阅读全文
posted @ 2022-06-18 13:34 sw-code 阅读(1253) 评论(0) 推荐(0) 编辑
摘要: 需求分析 如下两张输入表格 order表 id pid amount 1001 01 1 1002 02 2 1003 03 3 1004 01 4 1005 02 5 1006 03 6 pd表 pid pname 01 小米 02 华为 03 格力 将商品信息表中数据根据商品pid合并的订单数据 阅读全文
posted @ 2022-06-17 20:59 sw-code 阅读(94) 评论(0) 推荐(0) 编辑
摘要: Yarn状态的查询,除了可以在hadoop103:8088页面查看以外,还可以通过命令操作。常见的命令操作如下所示。 需求:执行WordCount案例,并通过Yarn命令查看任务运行情况。原文:sw-code # 启动集群 [hadoop@hadoop102 bin]$ myhadoop.sh st 阅读全文
posted @ 2022-06-17 20:57 sw-code 阅读(782) 评论(0) 推荐(0) 编辑
摘要: 测试HDFS写性能 原文:sw-code 1)写测试的原理 2)测试内容:向HDFS集群写10个128MB的文件(3个机器每个4核,2 * 4 = 8 < 10 < 3 * 4 =12) [hadoop@hadoop103 ~]$ hadoop jar /opt/module/hadoop-3.1. 阅读全文
posted @ 2022-06-17 20:54 sw-code 阅读(1019) 评论(0) 推荐(0) 编辑
摘要: 上篇文章讲解了怎么使用Kotlin的协程配合Retrofit发起网络请求,使用也是非常方便,但是在处理请求异常还不是很人性化。这篇文章,我们将处理异常的代码进行封装,以便对异常情况返回给页面,提供更加友好的提示。 编写拓展方法 我们写一个扩展(全局)方法,就叫ViewModelExt.kt,在下面创 阅读全文
posted @ 2021-11-23 09:33 sw-code 阅读(3659) 评论(2) 推荐(0) 编辑
摘要: 上个文章对集群进行了必要的配置并成功启动集群,这篇文章,我们补充一些常用的知识点 集群启动/停止方式总结 各模块分开启动/停止 1、整体启动/停止HDFS start-dfs.sh/stop-dfs.sh 2、整体启动/停止YARN start-yarn.sh/stop-yarn.sh 各服务组件逐 阅读全文
posted @ 2021-11-16 20:51 sw-code 阅读(254) 评论(0) 推荐(0) 编辑
摘要: 上篇文章通过克隆将集群搭建出来,这篇文章对Hadoop进行配置,修改配置文件,启动并测试集群。开去历史服务器以及日志聚集。 部署规划 hadoop102 hadoop103 hadoop104 HDFS NameNode、DataNode DataNode SencondNameNode、DataN 阅读全文
posted @ 2021-11-16 13:23 sw-code 阅读(787) 评论(0) 推荐(0) 编辑
摘要: 上个文章搭建了一个Hadoop主机,我们用该主机进行主机克隆 克隆主机 利用VMware的克隆功能,克隆出hadoop102、hadoop103、hadoop104三台主机 克隆完成后,记得修改文件(root用户下) vim /etc/sysconfig/network-scripts/ifcfg- 阅读全文
posted @ 2021-11-15 20:06 sw-code 阅读(199) 评论(0) 推荐(0) 编辑
摘要: 大数据集群经常涉及文件拷贝,我在学习大数据时总结了几种方式 三台主机:192.168.10.100、192.168.10.101、192.168.10.102有一个一样的用户:swcode 做过映射关系: hadoop100 192.168.10.100 hadoop101 192.168.10.1 阅读全文
posted @ 2021-11-15 11:24 sw-code 阅读(800) 评论(0) 推荐(0) 编辑
摘要: 工具准备 1、VMware 2、CentOS 7 最小安装版 3、远程工具推荐使用 FinalShell 安装系统 1、打开VMware,根据自己的情况配置好虚拟机,选择系统镜像就可以安装了,可自行百度“VMware如何安装CentOS” 2、打开虚拟机后,选中Test this media & i 阅读全文
posted @ 2021-11-15 10:24 sw-code 阅读(330) 评论(0) 推荐(1) 编辑