11 2018 档案

[Demo_03] MapReduce 实现多类型输出
摘要：MapReduce 实现将最高气温统计数据输出为文本格式和 SequenceFile 格式 阅读全文
posted @ 2018-11-26 23:09 山间一棵松 阅读(182) 评论(0) 推荐(0)
【待完成】[MapReduce_12] MapReduce 参数优化
该文被密码保护。
posted @ 2018-11-17 21:55 山间一棵松 阅读(2) 评论(0) 推荐(0)
[Demo_01] MapReduce 实现密码 Top10 统计
摘要：通过 MapReduce 实现密码 Top10 统计，通过两次 MR 操作完成。 阅读全文
posted @ 2018-11-16 16:08 山间一棵松 阅读(330) 评论(0) 推荐(0)
[MapReduce_add_5] MapReduce 实现标签的生成与聚合
摘要：介绍 && 流程图 && 程序编写 阅读全文
posted @ 2018-11-15 15:01 山间一棵松 阅读(171) 评论(0) 推荐(0)
[JSON_01] JSON 解析
摘要：介绍 && 测试 JSON 阅读全文
posted @ 2018-11-15 09:34 山间一棵松 阅读(192) 评论(0) 推荐(0)
【待完成】[MapReduce_11] MapReduce 程序与 YARN 之间的关系
该文被密码保护。
posted @ 2018-11-14 20:49 山间一棵松 阅读(1) 评论(0) 推荐(0)
【待完成】[MapReduce_6] MapReduce 中的序列化框架及应用
该文被密码保护。
posted @ 2018-11-13 22:01 山间一棵松 阅读(2) 评论(0) 推荐(0)
[MapReduce_add_4] MapReduce 的 join 操作
摘要：Map 端 join && Reduce 端 join 阅读全文
posted @ 2018-11-12 23:19 山间一棵松 阅读(111) 评论(0) 推荐(0)
【待完成】[MapReduce_10] MapReduce 利用数据压缩进行优化
该文被密码保护。
posted @ 2018-11-12 21:04 山间一棵松 阅读(1) 评论(0) 推荐(0)
【待完成】[MapReduce_2] MapReduce 内部的运行机制
该文被密码保护。
posted @ 2018-11-11 17:42 山间一棵松 阅读(2) 评论(0) 推荐(0)
【待完成】[MapReduce_9] MapReduce 的 Shuffle 机制
摘要：【待完成】[MapReduce_9] MapReduce的shuffle机制 阅读全文
posted @ 2018-11-10 21:43 山间一棵松 阅读(99) 评论(0) 推荐(0)
[MapReduce_7] MapReduce 中的排序
摘要：MapReduce 中的 部分排序 && 全排序 && 采样 && 二次排序 阅读全文
posted @ 2018-11-09 10:46 山间一棵松 阅读(292) 评论(0) 推荐(0)
[MapReduce_3] MapReduce 程序运行流程解析
摘要：Word Count 程序运行流程解析 && MapReduce 程序运行流程解析 阅读全文
posted @ 2018-11-08 22:18 山间一棵松 阅读(175) 评论(0) 推荐(0)
[MapReduce_add_3] MapReduce 通过分区解决数据倾斜
摘要：数据倾斜及解决方法的介绍与代码实现 阅读全文
posted @ 2018-11-07 23:55 山间一棵松 阅读(225) 评论(0) 推荐(0)
[MapReduce_8] MapReduce 中的自定义分区实现
摘要：设置分区数量 && 编写自定义分区代码 阅读全文
posted @ 2018-11-06 11:44 山间一棵松 阅读(833) 评论(0) 推荐(0)
[MapReduce_4] MapTask 并发数的决定机制
摘要：介绍 && Map 个数 & Reduce 个数指定 && Map 切片计算 阅读全文
posted @ 2018-11-06 10:37 山间一棵松 阅读(900) 评论(0) 推荐(0)
[MapReduce_5] MapReduce 中的 Combiner 组件应用
摘要：Combiner 介绍 && 在 MapReduce 中的应用 阅读全文
posted @ 2018-11-05 23:50 山间一棵松 阅读(267) 评论(0) 推荐(0)
【工具推荐】记一次水印制作流程
摘要：制作一款属于自己的水印 阅读全文
posted @ 2018-11-05 17:30 山间一棵松 阅读(571) 评论(1) 推荐(1)
[MapReduce_add_2] MapReduce 实现年度最高气温统计
摘要：编写 MapReduce 程序实现年度最高气温统计 阅读全文
posted @ 2018-11-05 14:56 山间一棵松 阅读(934) 评论(0) 推荐(0)
[MapReduce_1] 运行 Word Count 示例程序
摘要：MapReduce 实现 Word Count 示意图 && Word Count 代码编写 阅读全文
posted @ 2018-11-05 14:06 山间一棵松 阅读(418) 评论(0) 推荐(0)
[MapReduce_add_1] Windows 下开发 MapReduce 程序部署到集群
摘要：Windows 下开发 MapReduce 程序部署到集群 阅读全文
posted @ 2018-11-05 10:58 山间一棵松 阅读(235) 评论(0) 推荐(0)
【合集】Hadoop 合集
摘要：Hadoop 随笔的目录 阅读全文
posted @ 2018-11-04 11:55 山间一棵松 阅读(195) 评论(0) 推荐(0)
[HDFS_add_3] HDFS 机架感知
摘要：HDFS 副本存放策略 && 配置机架感知 阅读全文
posted @ 2018-11-04 11:45 山间一棵松 阅读(241) 评论(0) 推荐(0)
【工具推荐】提高图片质量的方法
摘要：0. 说明 有时候我们从网上下载一些技术文章的配图时，在遇到一些模糊的流程图或架构图的时候真的很无解，有些图片被多次下载然后又上传，加上上传本身对图片质量的压缩，所以在想找一个能提高图片质量的工具，这里的图片是指一些自绘的流程图之类的图。 在网上找到了一个挺好的网页，可以将图片适量放大和优化显示效果 阅读全文
posted @ 2018-11-03 16:55 山间一棵松 阅读(2257) 评论(0) 推荐(0)
【待补充】[HDFS_3] HDFS 工作机制
摘要：HDFS 初始化文件系统分析 && HDFS 文件写入流程 && HDFS 文件读取流程分析 阅读全文
posted @ 2018-11-03 15:44 山间一棵松 阅读(240) 评论(0) 推荐(0)
[SequenceFile_4] SequenceFile 配置压缩
摘要：SequenceFile 配置压缩编解码器 && 压缩类型的选型 阅读全文
posted @ 2018-11-02 15:35 山间一棵松 阅读(270) 评论(0) 推荐(0)
[Compression] Hadoop 压缩
摘要：Hadoop 压缩介绍 && 压缩格式总结 && 压缩编解码器测试 阅读全文
posted @ 2018-11-02 10:35 山间一棵松 阅读(263) 评论(0) 推荐(0)
[SequenceFile_3] MapFile
摘要：MapFile 介绍 && 测试 阅读全文
posted @ 2018-11-01 17:18 山间一棵松 阅读(175) 评论(0) 推荐(0)
[SequenceFile_2] SequenceFile 的基本操作
摘要：测试序列文件的读写操作 && 测试序列文件的排序操作 && 测试序列文件的合并操作 && 测试序列文件的压缩方式 && 测试将日志文件转换成序列文件 阅读全文
posted @ 2018-11-01 10:42 山间一棵松 阅读(945) 评论(0) 推荐(0)