摘要：开启调度器conf/yarn-site.xml<property> <name>yarn.resourcemanager.scheduler.class</name> <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.cap 阅读全文
prometheus监控hadoop集群
2020-08-17 10:16 by DataBases, 1390 阅读, 0 推荐, 收藏,
摘要：https://blog.csdn.net/csolo/article/details/82460539 https://segmentfault.com/a/1190000022968634 https://www.geek-share.com/detail/2746335697.html htt 阅读全文
Java volatile 关键字 Java内存管理API
2020-08-09 19:15 by DataBases, 145 阅读, 0 推荐, 收藏,
摘要：https://docs.oracle.com/javase/8/docs/api/ java的内存管理分为： 1、堆内存；2、栈内存；3、方法区；4、本地方法区 /*1:方法区 方法区存放装载的类数据信息包括: (1):基本信息: 1)每个类的全限定名 2)每个类的直接超类的全限定名(可约束类型转 阅读全文
Hadoop Yarn
2020-08-07 14:08 by DataBases, 114 阅读, 0 推荐, 收藏,
摘要：Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YARN中，资源管理由ResourceManager和NodeManager共同完成，其中，ResourceManager 阅读全文
Hadoop HA
2020-08-06 15:36 by DataBases, 102 阅读, 0 推荐, 收藏,
摘要：https://www.cnblogs.com/mylovelulu/p/9516727.html <property> <name>dfs.datanode.data.dir</name> <value>/data/hadoop/data</value> </property> <!--namen 阅读全文
hadoop集群格式化namenode报错（dfs.namenode.shared.edits.dir ）
2020-08-05 13:47 by DataBases, 4501 阅读, 0 推荐, 收藏,
摘要：hadoop集群格式化namenode报错************************************************************/20/08/05 10:34:11 INFO namenode.NameNode: registered UNIX signal han 阅读全文
Livy
2020-07-30 11:28 by DataBases, 135 阅读, 0 推荐, 收藏,
摘要：http://livy.incubator.apache.org/ http://archive.apache.org/dist/incubator/livy/ 阅读全文
Presto查询引擎安装部署
2020-07-30 11:10 by DataBases, 509 阅读, 0 推荐, 收藏,
摘要：rpm:https://repo1.maven.org/maven2/com/facebook/presto/presto-server-rpm/ https://repo1.maven.org/maven2/io/prestosql/presto-se/346/presto-server-rpm- 阅读全文
Hive 日期函数
2020-06-01 16:19 by DataBases, 499 阅读, 0 推荐, 收藏,
摘要：Hive date函数hive没有专门的日期类型，使用字符串(string)来存储日期类型，比如 '2012-12-29', '2012-12-29 10:00:00'。形如 'yyyy-mm-dd' 的数据为 date类型数据，形如 'yyyy-mm-dd HH:MM:SS'的数据为time类型数 阅读全文
Spark作业提交运行流程
2020-06-01 11:48 by DataBases, 526 阅读, 0 推荐, 收藏,
摘要：yarn-cluster模式： （1）client客户端提交spark Application应用程序到yarn集群。 （2）ResourceManager收到了请求后，在集群中选择一个NodeManager来为应用程序分配container容器，并启动该应用程序的ApplicationMaster 阅读全文
浙公网安备 33010602011771号