09 2019 档案

摘要：期望 顺着上一篇文章《Hadoop学习之第一个MapReduce程序》中遗留的分片疑惑，探究TextInputFormat的分片逻辑。 第一步 上Apache官网下载实验所使用的Hadoop3.2.0版本源码，导入IntelliJ Idea中，不赘述了。下载链接：https://www.apache 阅读全文

摘要：期望 通过这个mapreduce程序了解mapreduce程序执行的流程，着重从程序解执行的打印信息中提炼出有用信息。 执行前 程序代码 程序代码基本上是《hadoop权威指南》上原封不动搬下来的，目的为求出某一年份中最高气温，相关代码如下： public class NcdcWeather { p 阅读全文

摘要：目的 记录学习hadoop过程中遇到的基础问题，无关大小、无关困扰时间长短。 问题一 全分布式环境中运行mapred程序，报异常：java.net.NoRouteToHostException: 没有到主机的路由 在全分布式环境中运行mapred程序，报异常：java.net.NoRouteToHo 阅读全文

摘要：期望目的 下载《Hadoop权威教程》里用到的NCDC天气数据，供后续在此数据基础上跑mapred程序。 操作过程 步骤一、编写简单的shell脚本，下载数据文件到本地文件系统 已知NCDC天气数据父目录地址为ftp://ftp.ncdc.noaa.gov/pub/data/noaa/，编写如下脚本 阅读全文