摘要: 2018的最后一个工作日,是在调式和诊断问题的过程中度过,原本可以按时下班,毕竟最后一天了,然鹅,确是一直苦苦挣扎。 废话不多说,先描述一下问题:有一套大数据环境,是CDH版本的,总共4台机子,我们的应用程序与大数据集群之前已经集成完毕,调试没有问题,可以运行Spark任务。而与这个集群集成是17年 阅读全文
posted @ 2019-01-01 17:34 风雨咒之无上密籍 阅读(1194) 评论(1) 推荐(1)
摘要: 中心思想,设置kerberos环境变量时,发现JDK源码当中的一个问题,故描述如下。 在平时的使用中,如果hadoop集群配置kerberos认证的话,使用java访问hdfs或者hive时,需要先进行认证登陆,之后才可以访问。登陆代码大致如下: 设置krb5.conf和core-site.xml、 阅读全文
posted @ 2018-12-15 18:18 风雨咒之无上密籍 阅读(7228) 评论(2) 推荐(0)
摘要: 段子 今年基本已经结束了,我问了很多朋友今年挣钱了没?大多朋友都有挣,而且挣得五花八门:有挣个屁的,有挣个锤子的,有挣个毛的,更有甚者挣个妹的,奢侈之极!最恐怖的是挣个鬼的!有的还可以,挣个球,下午我碰见一朋友,问今年挣了吗?他望着天空喃喃自语:挣个鸟!看吧,只要肯努力,什么都能挣到。 年末将至,忽 阅读全文
posted @ 2017-12-19 23:32 风雨咒之无上密籍 阅读(17920) 评论(0) 推荐(8)
摘要: 在完成模块开发后,需要发布jar到nexus上,与此同时,则要部署开发的模块,需要将编译打包的jar复制到指定的路径,再进行部署,而不是手动的去复制那些jar,因为当模块多的话,则会感到特别的烦,所以,利用maven集成的ant来进行这些操作。pom.xml文件配置如下: 其中,plugin的art 阅读全文
posted @ 2017-01-10 11:16 风雨咒之无上密籍 阅读(11492) 评论(0) 推荐(0)
摘要: 最近在看maven的打包及管理,然後就看到nexus,自己在安裝的時候就下載了最新版的nexus-3.2.0-01-win64,按照文档部署后启动,浏览。之前一致使用的是2.0的,所以还是需要导出点点,熟悉一下功能。 熟悉2.0的都知道,那是可以上传自己的jar到库中,方便引用,但是3.0中,没有操 阅读全文
posted @ 2017-01-08 19:38 风雨咒之无上密籍 阅读(5924) 评论(0) 推荐(0)
摘要: 在java中处理字符时,经常会发生乱码,而主要出现的地方在读取文本文件时发生,或者是写入到文件中,在其他地方打开乱码。 如下例子: 上述代码则是读取一个文本文件,此方式读取文本文件可能会发生乱码问题。 当文本文件的编码与当前JVM的编码一致时,就会发生乱码。 查看JVM的编码信息,使用工具查看jvi 阅读全文
posted @ 2017-01-05 16:39 风雨咒之无上密籍 阅读(496) 评论(0) 推荐(0)