随笔分类 -  Hadoop

Standalone模式下，通过Systemd管理Flink1.11.1的启停及异常退出
摘要：Flink以Standalone模式运行时，可能会发生jobmanager（以下简称jm）或taskmanager（以下简称tm）异常退出的情况，我们可以使用Linux自带的Systemd方式管理jm以及tm的启停，并在jm或tm出现故障时，及时将jm以及tm拉起来。 Flink在1.11版本后，从 阅读全文
posted @ 2021-05-04 17:09 静若清池 阅读(1575) 评论(0) 推荐(0)
HDFS 2.7.4中hdfs-site.xml参数未配置引发的一些异常
摘要：生产上部署了HDFS 2.7.4，最近遇到了一些异常，记录下来备忘： 一、dfs.datanode.directoryscan.throttle.limit.ms.per.sec DataNode运行一段时间后，报如下异常： 谷歌了一下，发现是一个Bug： https://issues.apache 阅读全文
posted @ 2018-05-09 20:54 静若清池 阅读(3776) 评论(0) 推荐(0)
一个不错的老外博客
摘要：网址：http://blog.madhukaraphatak.com/ 首页： 阅读全文
posted @ 2017-12-02 23:15 静若清池 阅读(460) 评论(0) 推荐(0)
大数据计算引擎发展的四个阶段
摘要：根据一些公开资料整理，也许有失偏颇，仅供参考： 1.第一代 Hadoop 承载的 MapReduce 2.第二代 支持 DAG（有向无环图） 的框架： Tez 、 Oozie，主要还是批处理任务 3.第三代 Job 内部的 DAG（有向无环图） 支持（不跨越 Job），以及强调的实时计算：Spark 阅读全文
posted @ 2017-11-12 23:08 静若清池 阅读(2686) 评论(0) 推荐(0)
Flink JobManager HA模式部署（基于Standalone）
摘要：参考文章：https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/jobmanager_high_availability.html#bootstrap-zookeeper Flink典型的任务处理过程如下所示： 很容易发现 阅读全文
posted @ 2017-09-06 10:07 静若清池 阅读(11248) 评论(4) 推荐(0)
Influxdb1.2.2安装
摘要：一、文件准备 1.1 文件名称 influxdb-1.2.2.x86_64.rpm 1.2 下载地址 https://portal.influxdata.com/downloads 【注意、注意、注意】下载时可能需要FanQiang 二、工具准备 2.1 Xshell 一个强大的安全终端模拟软件，它 阅读全文
posted @ 2017-04-08 07:21 静若清池 阅读(2510) 评论(0) 推荐(0)
Spark2.1.0分布式集群安装
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 1.2 Hadoop 参见博文：http://www.cnblogs.com/liugh/p/6624872.html 1.3 Scala 参见博文：http://ww 阅读全文
posted @ 2017-03-27 09:15 静若清池 阅读(6406) 评论(0) 推荐(0)
Hadoop2.7.3分布式集群安装
摘要：一、依赖文件安装 1.1 JDK 参见博文：http://www.cnblogs.com/liugh/p/6623530.html 二、文件准备 2.1 文件名称 hadoop-2.7.3.tar.gz 2.2 下载地址 http://hadoop.apache.org/releases.html 阅读全文
posted @ 2017-03-27 09:00 静若清池 阅读(6276) 评论(0) 推荐(0)