09 2018 档案

scala eval
摘要：需要有如下依赖 阅读全文
posted @ 2018-09-29 16:45 言下忘言 阅读(976) 评论(1) 推荐(0)
spark + hbase
摘要：软件环境 spark2.3.1 + hbase 2.0.1 这里我们用到的时hortonworks 的spark hbase connector 1.从github 下载shc源码， 2.用idea打开源码，下载依赖 因为源码中有部分依赖是来自hortonworks的，maven 中央仓库中下载不到 阅读全文
posted @ 2018-09-26 16:16 言下忘言 阅读(1529) 评论(0) 推荐(0)
maven 打包添加依赖
摘要：1.将依赖与自己的代码打入同一个jar包 只需在pom中添加如下plugin 在include 中添加需要的依赖，在exclude 中添加不需要的依赖 2.将依赖与自己的代码的分开 自己的代码会单独打成一个jar，依赖保存到设定目录 首先在Pom中添加如下plugin 然后在src/main 下建立 阅读全文
posted @ 2018-09-26 12:37 言下忘言 阅读(7713) 评论(0) 推荐(0)
mysql 开启日志服务
摘要：mysql 版本：mysql-5.7 1.在/etc/my.cnf 中添加如下内容： 2.重启mysql 3.查看日志目录 重启后并对mysql进行了简单的查询操作，error.log 保存了标准错误输出，general.log 保存了查询记录 附： 什么是二进制日志？ 用来记录操作MySQL数据库 阅读全文
posted @ 2018-09-17 13:09 言下忘言 阅读(4121) 评论(0) 推荐(0)
spark sc.textFile() 指定换行符
摘要：直接上代码 这里使用了scala 中的隐式转换，当调用sc.textFile(path,delimiter)时 sc会被自动包装成ContextExtensions ，并调用其textFile 方法 阅读全文
posted @ 2018-09-15 23:20 言下忘言 阅读(4822) 评论(0) 推荐(1)
java 查看类是从哪个jar包加载的
摘要：package com.jason object FIndjar { def main(args: Array[String]): Unit = { val pd = classOf[org.apache.hadoop.mapreduce.TaskID].getProtectionDomain println("===="*30) val cs = pd.getCo... 阅读全文
posted @ 2018-09-15 23:14 言下忘言 阅读(2604) 评论(0) 推荐(0)
hive 字符串截取
摘要：语法 ：substr(字段,starindex,len) 下标从 1 开始 测试 阅读全文
posted @ 2018-09-14 11:26 言下忘言 阅读(12815) 评论(0) 推荐(1)
linux 程序失败自动重启
摘要：最近写了一个spark streaming 程序，但是程序跑着跑着就报错了，而且不会自动重启，以下脚本实现了程序失败自动重启 基本原理：查看程序日志文件是否有ERROR或Exception字样，有说明报错了，然后kill进程，重启程序 阅读全文
posted @ 2018-09-14 01:27 言下忘言 阅读(1549) 评论(0) 推荐(0)
spark + hive
摘要：1.如何让 spark-sql 能够访问hive？ 只需将hive-site.xml 放到 spark/conf 下即可，hive-site.xml 内容请参照hive集群搭建 2.要在spark 代码中使用sql操作hive，需要在初始化sparksession 时加上 3.spark开启hive 阅读全文
posted @ 2018-09-11 11:12 言下忘言 阅读(1128) 评论(0) 推荐(0)
hive 集群搭建
摘要：软件环境：centos7 + hadoop2.7.6 1.hive 下载 apache-hive-2.1.0-bin.tar.gz 2.copy apache-hive-2.1.0-bin.tar.gz 到/user/local 目录并解压 3.安装msyql 授权root 可以远程登陆mysql 阅读全文
posted @ 2018-09-11 00:22 言下忘言 阅读(643) 评论(0) 推荐(0)
hive 静态分区&动态分区
摘要：转载自https://www.cnblogs.com/yongjian/archive/2017/03/29/6640951.html 阅读全文
posted @ 2018-09-10 10:13 言下忘言 阅读(167) 评论(0) 推荐(0)
linux 安装mysql
摘要：环境 centos 7 + mysql-5.7.23-linux-glibc2.12-x86_64.tar.gz 0.卸载centos 自带mysql 1.mysql 下载 下载地址 下载版本如下： 2.创建mysql用户 3.安装mysql 1）将mysql-5.7.23-linux-glibc2 阅读全文
posted @ 2018-09-09 23:39 言下忘言 阅读(363) 评论(0) 推荐(0)
maven cloudara依赖下载
摘要：最近开发的项目使用到了cloudara的依赖，已经在pom.xml 中配置了cloudara的repository，但是还是无法下载 网上查看了maven的运行原理： 1.pom.xml里的repositories元素，里面可以包含多少repository(至少默认包含了中央仓库， 该仓库总是在ef 阅读全文
posted @ 2018-09-07 12:51 言下忘言 阅读(901) 评论(0) 推荐(0)
scala 偏函数
摘要：执行结果 总结 1.什么是偏函数：例如上述的函数div，传入的参数为 int，反汉之也是int，但是函数并不是对所有输入的int都进行处理，而是只处理不为0 的int 2.orElse 方法可以拼接多个偏函数，类似if...else 3.andThen 方法是把多个偏函数串联起来，第一个函数的结果作 阅读全文
posted @ 2018-09-03 22:53 言下忘言 阅读(218) 评论(0) 推荐(0)
redis 简单教程
摘要：一.redis的安装 安装环境：centos 7 1) 下载redis 这里我们下载的是redis-4.0.10.tar.gz 2）将redis tar包移动至 /usr/local 执行如下命令 make 结束后/usr/local/redis-4.0.10/src会出现redis-server和 阅读全文
posted @ 2018-09-03 00:29 言下忘言 阅读(216) 评论(0) 推荐(0)
spark 读写text,csv,json,parquet
摘要：以下代码演示的是spark读取 text，csv，json，parquet格式的file 为dataframe， 将dataframe保存为对应格式的文件 上述将dataframe保存为text为也采取了csv格式，若要保存为text，dataframe中只能有一个String类型的字段，但是一般d 阅读全文
posted @ 2018-09-01 14:30 言下忘言 阅读(7984) 评论(1) 推荐(0)