2019年5月14日
大数据学习之编程案例压缩解压操作 15
摘要： 三：压缩与解压 1：Hadoop数据压缩 MR操作过程中进行大量数据传输。 压缩技术能够有效的减少底层存储（HDFS）读写字节数。 压缩提高了网络带宽和磁盘空间的效率。 数据压缩能够邮箱的节省资源！ 压缩是mr程序的优化策略！ 通过压缩编码对mapper或者reducer数据传输进行数据的压缩，以减 阅读全文
posted @ 2019-05-14 23:15 大魔王阿黎 阅读(248) 评论(0) 推荐(0)
大数据学习之编程案例Join操作14
摘要： 一：mapjoin（Map端的Join操作）： 任务？将商品表和订单表进行关联起来（相当于MySQL中的等值连接） 提示：这里其实是对2个表进行操作。我们这里其实运用到了分布式缓存，将商品表进行了缓存 数据预览： Step1：在Order表中对应的01 Id和 商品的01 id和商品名表关联起来， 阅读全文
posted @ 2019-05-14 09:13 大魔王阿黎 阅读(224) 评论(0) 推荐(0)