06 2019 档案

Hadoop综合大作业
摘要：1.准备本次数据分析的数据（以下为爬虫大作业获取的CSV文件） 2.（1）将CSV文件上传到hdfs上 （2）查看文件中前10条信息，即可证明是否上传成功。 3.预处理文件，将CSV文件生成txt文件 （1）先删除第一行字段 （2）将文本文件上传的hdfs上并查看 5.启动hdfs并启动MySQL服 阅读全文
posted @ 2019-06-21 13:16 cjvil 阅读(728) 评论(0) 推荐(0) 编辑
分布式并行计算MapReduce
摘要：1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS （1）第一次启动 namenode 格式化后，创建 fsimage 和 edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的请求。（3）name 阅读全文
posted @ 2019-06-05 21:05 cjvil 阅读(155) 评论(0) 推荐(0) 编辑