生心无住

摘要： 1.有源码的情况下 首先需要在要deploy的项目pom中添加私服地址 私服一般都是需要用户名/密码认证才能部署jar的，需要在setting.xml中添加 私服用户名和密码 然后 mvn clean deploy 就可以了 2.直接部署第三方jar包 经测试，不能从本地仓库部署，要把jar包cop 阅读全文

摘要： 在执行 mvn site 命令时报错： 解决方法，重新配置site plugin，加入如下代码 阅读全文

摘要： 需要有如下依赖 阅读全文

摘要： 软件环境 spark2.3.1 + hbase 2.0.1 这里我们用到的时hortonworks 的spark hbase connector 1.从github 下载shc源码， 2.用idea打开源码，下载依赖 因为源码中有部分依赖是来自hortonworks的，maven 中央仓库中下载不到 阅读全文

摘要： 1.将依赖与自己的代码打入同一个jar包 只需在pom中添加如下plugin 在include 中添加需要的依赖，在exclude 中添加不需要的依赖 2.将依赖与自己的代码的分开 自己的代码会单独打成一个jar，依赖保存到设定目录 首先在Pom中添加如下plugin 然后在src/main 下建立 阅读全文

摘要： mysql 版本：mysql-5.7 1.在/etc/my.cnf 中添加如下内容： 2.重启mysql 3.查看日志目录 重启后并对mysql进行了简单的查询操作，error.log 保存了标准错误输出，general.log 保存了查询记录 附： 什么是二进制日志？ 用来记录操作MySQL数据库 阅读全文

摘要： 直接上代码 这里使用了scala 中的隐式转换，当调用sc.textFile(path,delimiter)时 sc会被自动包装成ContextExtensions ，并调用其textFile 方法 阅读全文

摘要： package com.jason object FIndjar { def main(args: Array[String]): Unit = { val pd = classOf[org.apache.hadoop.mapreduce.TaskID].getProtectionDomain println("===="*30) val cs = pd.getCo... 阅读全文

摘要： 语法 ：substr(字段,starindex,len) 下标从 1 开始 测试 阅读全文

摘要： 最近写了一个spark streaming 程序，但是程序跑着跑着就报错了，而且不会自动重启，以下脚本实现了程序失败自动重启 基本原理：查看程序日志文件是否有ERROR或Exception字样，有说明报错了，然后kill进程，重启程序 阅读全文