摘要: 1:HDFS存储多目录 只针对DN进行多目录配置 1)生产环境服务器磁盘情况 2)在hdfs-site.xml文件中配置多目录,注意新挂载磁盘的访问权限问题。 HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定,其默认值为file://$/dfs/dat 阅读全文
posted @ 2020-12-14 21:22 Later^^ 阅读(703) 评论(0) 推荐(0)
摘要: 集群基准性能测试 问题引入:输入端有2T的数据,问多长时间能把数据上传到集群? 假如说1个小时,那么双11时瞬间产生100T数据,服务器能顶住吗? 因此,我们需要对服务器进行压力测试,对服务器整体性能有精准把控 1)测试HDFS写性能 测试内容,向集群上传10个128M的文件 [root@hadoo 阅读全文
posted @ 2020-12-14 19:27 Later^^ 阅读(326) 评论(0) 推荐(0)
摘要: 搭建Linux虚拟机流程 以下教程使用linux版本为Centos7.5 1.配置网络 1)修改虚拟机的静态IP 进入 sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改如下几项配置 BOOTPROTO=static --改成静态IP ONB 阅读全文
posted @ 2020-12-14 00:09 Later^^ 阅读(356) 评论(0) 推荐(0)