摘要：
删除首行记录 生成txt文件 上传到hdfs中： 在hive中创建数据表并把hdfs的数据导入表中 使用hive进行数据分析： 查询总记录数（如图）由于以空行作为分隔符，因此实际数据量应当除以2，即16万。 搜索量最高的是？ 选取“搜索量”列进行降序排序，并选取排名前十的数据 从表中可以看出搜索量最 阅读全文
随笔档案-2019年06月
分布式并行计算MapReduce
2019-06-03 23:45 by 科ke, 423 阅读, 收藏,
摘要：
1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS （1）第一次启动 namenode 格式化后，创建 fsimage 和 edits 文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。（2）客户端对元数据进行增删改的请求。（3）name 阅读全文
浙公网安备 33010602011771号