生心无住

摘要： 1.将依赖与自己的代码打入同一个jar包 只需在pom中添加如下plugin 在include 中添加需要的依赖，在exclude 中添加不需要的依赖 2.将依赖与自己的代码的分开 自己的代码会单独打成一个jar，依赖保存到设定目录 首先在Pom中添加如下plugin 然后在src/main 下建立 阅读全文

摘要： mysql 版本：mysql-5.7 1.在/etc/my.cnf 中添加如下内容： 2.重启mysql 3.查看日志目录 重启后并对mysql进行了简单的查询操作，error.log 保存了标准错误输出，general.log 保存了查询记录 附： 什么是二进制日志？ 用来记录操作MySQL数据库 阅读全文

摘要： 直接上代码 这里使用了scala 中的隐式转换，当调用sc.textFile(path,delimiter)时 sc会被自动包装成ContextExtensions ，并调用其textFile 方法 阅读全文

摘要： package com.jason object FIndjar { def main(args: Array[String]): Unit = { val pd = classOf[org.apache.hadoop.mapreduce.TaskID].getProtectionDomain println("===="*30) val cs = pd.getCo... 阅读全文

摘要： 语法 ：substr(字段,starindex,len) 下标从 1 开始 测试 阅读全文

摘要： 最近写了一个spark streaming 程序，但是程序跑着跑着就报错了，而且不会自动重启，以下脚本实现了程序失败自动重启 基本原理：查看程序日志文件是否有ERROR或Exception字样，有说明报错了，然后kill进程，重启程序 阅读全文

摘要： 1.如何让 spark-sql 能够访问hive？ 只需将hive-site.xml 放到 spark/conf 下即可，hive-site.xml 内容请参照hive集群搭建 2.要在spark 代码中使用sql操作hive，需要在初始化sparksession 时加上 3.spark开启hive 阅读全文

摘要： 软件环境：centos7 + hadoop2.7.6 1.hive 下载 apache-hive-2.1.0-bin.tar.gz 2.copy apache-hive-2.1.0-bin.tar.gz 到/user/local 目录并解压 3.安装msyql 授权root 可以远程登陆mysql 阅读全文

摘要： 转载自https://www.cnblogs.com/yongjian/archive/2017/03/29/6640951.html 阅读全文

摘要： 环境 centos 7 + mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz 0.卸载centos 自带mysql 1.mysql 下载 下载地址 下载版本如下： 2.创建mysql用户 3.安装mysql 1）将mysql-5.7.23-linux-glibc2 阅读全文