随笔分类 -  Hadoop

实战kudu集成impala
摘要：https://www.cnblogs.com/Javame/p/12222662.html 阅读全文
posted @ 2021-08-06 09:58 再见傅里叶 阅读(55) 评论(0) 推荐(0)
hdfs /tmp目录作用
摘要：HDFS / tmp目录主要用作mapreduce操作期间的临时存储。 Mapreduce工件，中间数据等将保存在该目录下。 mapreduce作业执行完成后，这些文件将自动清除。如果删除此临时文件，则可能会影响当前正在运行的mapreduce作业 阅读全文
posted @ 2020-04-24 09:24 再见傅里叶 阅读(2273) 评论(0) 推荐(0)
MapReduce中的shuffle
摘要：https://blog.csdn.net/u014374284/article/details/49205885 https://blog.csdn.net/asn_forever/article/details/81233547 https://blog.csdn.net/u014374284/ 阅读全文
posted @ 2020-04-23 17:10 再见傅里叶 阅读(865) 评论(0) 推荐(0)
HDFS的副本存放策略
摘要：https://www.cnblogs.com/beiyi888/p/9647147.html 首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有多个副本，这些数据块副本分布在不同的机器节点上，这种数据分块存储+副本的策略是HDFS保证可靠性和性能的关键，这是因为：一.文件分块存 阅读全文
posted @ 2020-04-22 10:06 再见傅里叶 阅读(1313) 评论(0) 推荐(0)
Hadoop跨集群数据迁移
摘要：https://www.jianshu.com/p/d2068b8247a7 阅读全文
posted @ 2020-04-17 16:59 再见傅里叶 阅读(318) 评论(0) 推荐(0)
MapReduce原理
摘要：参考这篇文章，个人觉得讲得比较清晰。https://blog.csdn.net/lhg_198910/article/details/89325499 https://blog.csdn.net/qq_32941881/article/details/81505069 阅读全文
posted @ 2020-04-17 10:55 再见傅里叶 阅读(120) 评论(0) 推荐(0)
HDFS读写流程
摘要：HDFS读写流程，特别是客户端如何写数据到Datanode中,是面试必问！，一定要弄清楚！ 1、block 这个大家应该知道，文件上传前需要分块，这个块就是block，一般为128MB，当然你可以去改，不过不推荐。因为块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。它是最大的一 阅读全文
posted @ 2020-03-31 08:33 再见傅里叶 阅读(285) 评论(0) 推荐(0)
HDFS namenode如何实现HA
摘要：https://blog.csdn.net/mtj66/article/details/78966080 NameNode 主备切换主要由 ZKFailoverController、HealthMonitor 和 ActiveStandbyElector 这 3 个组件来协同实现： ZKFailov 阅读全文
posted @ 2020-03-09 17:13 再见傅里叶 阅读(218) 评论(0) 推荐(0)
YARN
摘要：https://www.jianshu.com/p/0724a94e861f 阅读全文
posted @ 2019-11-20 09:26 再见傅里叶 阅读(87) 评论(0) 推荐(0)