2020年6月14日
hdfs读数据流程
摘要： 1，客户端通过Distributed FileSystem 向namenode请求下载文件，namenode 通过查找元数据，返回文件块所在datanode的地址。 2，客户端挑选一台datanode（按照就近原则，返回的块地址根据网络拓扑图排序，距离客户端进的排在前面）服务器，建立连接，请求读取数 阅读全文
posted @ 2020-06-14 15:50 大数据码农 阅读(305) 评论(0) 推荐(0)
hadoop集群搭建必须要配置的8个配置文件
摘要： 4个site.xml文件和 3个env.sh文件和1个slave文件 1,core-site.xml 2,hdfs-site.xml 3,mapred-site.xml 4,yarn-site.xml 5,hadoop-env.sh 6,mapred-env.sh 7,yarn-env.sh 8,s 阅读全文
posted @ 2020-06-14 15:23 大数据码农 阅读(1690) 评论(0) 推荐(0)
hadoop常用的端口号
摘要： 1，namenode http端口：50070 2，datanode http端口：50075 3，secondaryNameNode 节点http端口号：50090 4，datanode后端访问端口号：50010 5，fs 端口号：9000 6，yarn http端口号：8088 7，历史服务器w 阅读全文
posted @ 2020-06-14 15:21 大数据码农 阅读(6248) 评论(0) 推荐(0)
2020年6月9日
shell常用工具
摘要： 1，变量：几个特殊需要注意的变量，其它自定义变量不做阐述。 1）$n：$0:该脚本名称，$1....:代表第几个参数； 2）$#：获取所有参数个数，常用于循环； 3）$*,$@：代表命令行中所有参数。$*把所有参数看成一个整体，而$@把所有参数单独看待，注意在for循环中使用时，加引号和不加引号的却 阅读全文
posted @ 2020-06-09 18:03 大数据码农 阅读(3683) 评论(0) 推荐(0)
Linux常用命令
摘要： 1，top：linux下常用的性能分析工具，可以查看各个进程下cpu使用和内存使用情况，相当于windows下的资源管理器。 2，df -h：查看磁盘存储情况。 3，iotop：查看磁盘io读写情况。 4，iptop -o：查看磁盘io读写较高的程序。 5，netstat -tunlp | grep 阅读全文
posted @ 2020-06-09 12:45 大数据码农 阅读(93) 评论(0) 推荐(0)