第八周总结
本周学习的主要内容是yarn,上一周的MapReduce内容学习的不太好,这一周接着还学了学,学习了yarn,yarn的内容相对于MapReduce比较少,在学习这两部分的内容时,并没有做在虚拟机上面太多的操作,最熟悉的一个案例是WordCount——计算单词出现的次数。其次,这一周由于在打一些暑假工,赚点money,所以学习的时间相对较短。
在学习MapReduce过程中,主要以案例为主,学习完Join、ETL、数据压缩,做了一些案例 使用Join将两张表进行合并、ETL筛选数据(类似于在web界面中对数据输入格式进行限制,但是这里的ETL更适合是将所有的数据进行一次筛选)、数据压缩,首先学习这些案例的原理,其次需要自己编写Mapper(数据的接收和格式处理)、Reducer(接收Mapper数据,对数据进行处理,输出最终的结果)、Driver(向Hadoop提交请求,运行任务),做这些案例的目的是更直观的了解hadoop运行任务时的流程。