摘要：1.将爬虫大作业产生的csv文件上传到HDFS 此处选取的是rank.csv文件 启动hadoop 在hdfs上创建文件并上传rank.csv至hdfs 查看上传至hdfs上文件的前5条信息 2.对CSV文件进行预处理生成无标题文本文件 编辑pre_deal.sh文件进行数据的取舍处理 3.把hdf 阅读全文

摘要：作业要求来自于：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/3319 1. 用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 （1）HDFS的功能：元数据、检查点、DataNode功能 HDF 阅读全文

摘要：利用Shell命令与HDFS进行交互 以”./bin/dfs dfs”开头的Shell命令方式 1.目录操作 在HDFS中为hadoop用户创建一个用户目录（hadoop用户） 在用户目录下创建一个input目录 在HDFS的根目录下创建一个名称为input的目录 删除HDFS根目录中的“input 阅读全文