摘要: 当程序主动使用某个类时,如果该类还未被加载到内存中,则JVM会通过加载、连接、初始化3个步骤来对该类进行初始化。 JVM将会连续完成3个步骤,所以有时也把这个3个步骤统称为类加载或类初始化。 一、类加载过程 1.加载 加载指的是将类的class文件读入到内存,并为之创建一个java.lang.Cla 阅读全文
posted @ 2022-06-16 17:46 小小程序员_sjk 阅读(22) 评论(0) 推荐(0) 编辑
摘要: 在hive Beeline命令行使用insert into ... select ...向hive表插入数据时,报FAILED:Execution Error,return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误,具体如下 阅读全文
posted @ 2022-04-24 16:38 小小程序员_sjk 阅读(4482) 评论(0) 推荐(0) 编辑
摘要: #启动hive metastore命令hive --service metastore & #查看metastore状态命令ps -ef | grep HiveMetastore #hive debug命令nohup hive --service hiveserver2 --debug & 1>/d 阅读全文
posted @ 2022-03-30 14:09 小小程序员_sjk 阅读(109) 评论(0) 推荐(0) 编辑
摘要: 【问题现象】 现场反馈yarn的slave节点的nodemanager进程无故自动重启 【问题定位】1、通过查看nodemanager的日志,发现STARTUP_MSG之前并未有任何异常信息,初步判断是否改进程被kill掉了。 2022-03-08 15:45:01 [ContainersLaunc 阅读全文
posted @ 2022-03-09 16:13 小小程序员_sjk 阅读(394) 评论(0) 推荐(0) 编辑
摘要: 一般ssh默认的端口号为22,通过ssh远程连接时不需要指定端口号,如果默认的端口号被修改了,则在执行ssh连接ip事需要指定端口号, 格式为: ssh 远程服务器IP 远程服务器ssh端口号 样例如下: ssh 137.23.150.30 22005 备注:服务器ssh端口号查看方式,可以通过/e 阅读全文
posted @ 2022-03-02 11:40 小小程序员_sjk 阅读(2131) 评论(0) 推荐(0) 编辑
摘要: 查看进程,存在WebAppProxyServer页面的进程,为什么访问不了,是因为该进程所在的服务器A无法通过外部访问(ssh无法连接)但是可以通过内部所在的集群服务器连通,因此,我们只需要找到一个能与外部联通的,该机器B与机器A在同一网段,且B能访问A。我们通过配置ssh隧道本地访问页面。具体步骤 阅读全文
posted @ 2021-04-16 22:29 小小程序员_sjk 阅读(110) 评论(0) 推荐(0) 编辑
摘要: 最近在测将Hadoop3.2.1的yarn依赖的JDK由JDK1.8替换为JDK15,遇到以下问题,在此进行记录,希望能帮助到遇到同样问题的同学。 问题描述: 将yarn集群依赖的JDK由1.8换成JDK15后,提交任务时,yarn日志报Unrecognized VM option 'UseParN 阅读全文
posted @ 2021-04-16 22:16 小小程序员_sjk 阅读(4288) 评论(0) 推荐(0) 编辑
摘要: Hive源码分析 阅读全文
posted @ 2021-03-15 22:37 小小程序员_sjk 阅读(313) 评论(0) 推荐(0) 编辑
摘要: hive源码分析 阅读全文
posted @ 2021-03-15 22:35 小小程序员_sjk 阅读(1314) 评论(0) 推荐(1) 编辑
摘要: hive让大数据飞了起来,不再需要专人写MR。平常我们都可以用基于thrift的任意语言来调用hive。 不过爱恨各半,hive的thrift不稳定也是出了名的。很容易就出问题,让人无计可施。唯一的办法就是不断kill,不断restart。 当然,我们可以用haproxy来解决这个问题,关键,hap 阅读全文
posted @ 2021-03-15 14:30 小小程序员_sjk 阅读(206) 评论(0) 推荐(0) 编辑