Kotlin

摘要： zset类型 本质是sorted set ,是没有重复元素的集合,根据value排序,所以可以快速的value查找 增 zadd zsortedSet 1 a 2 b 3 c (将一个或者多个值和score插入到zsortedSet) 删 zrem key value(删除value) 改 zinc 阅读全文

摘要： 一：Set类型 set数据不重复,元素无序,添加删除复杂度都是O1,value为NULL的Hash表 增 返回成功添加的个数 删 srem key value 删除元素 spop 随机弹出一个 改 默认覆盖 查 smembers key 显示所有元素 sismember key value 判断元素 阅读全文

摘要： 一：String类型 string是二进制安全的(图片视频序列化存储,取出来还是可以用的)最多512M 增 set key(设key) append key value(在原来基础上增加 += ) setnx key value(存在时候不设置成功1,不成功0) 不成功 成功 mset key1 v 阅读全文

摘要： 一：环境搭建 redis下载 http://download.redis.io/releases/redis-5.0.5.tar.gz 安装 下载完成之后,进行解压操作. 我的解压目录/software/java/redis cd /software/java/redis make //(需要先安装 阅读全文

摘要： 最近看了一遍hive的文档，本文是为了记录文档中将来会可用东西，并非最全的《文档》，望谅解 一：建表语句 drop table window_test; create external table if not exists window_test ( name string, score stri 阅读全文

摘要： 一：广播变量 //广播变量其实就是将一个变量传播到每个excetor,实现excetor共享同一个只读变量. //其中有一个难题就是,动态广播变量.我在实验过程中只是实现了不同job的广播变量更改,对于有N分钟修改一次还没有试验出更好的方法 import org.apache.spark.api.j 阅读全文

摘要： 一：rdd聚合操作 1.count val conf = new SparkConf().setAppName("HelloWorld").setMaster("local") val sc = new JavaSparkContext(conf).sc val dataLength = sc.te 阅读全文

摘要： 一：变换操作 rdd中有元组,元组只能是key,value结构,适用于下面很多方法 1.map val conf = new SparkConf().setAppName("HelloWorld").setMaster("local") val sc = new JavaSparkContext(c 阅读全文

摘要： 一：类型参数 1.泛型类 //泛型类，基本和java是一致的 class Pair[T,S](val first:T,val second:S) val pair1 = new Pair("42",42) val pair2 = new Pair[Any,Any](42,"42") 2.泛型函数 / 阅读全文

摘要： RDD没有可以这种可以注册的方法。在使用sparksql过程中发现UDF还是有点用的所以，还是单独写一篇博客记录一下。 一：简介 UDF=》一个输入一个输出。相当于mapUDAF=》多个输入一个输出。相当于reduceUDTF=》一个输入多个输出。相当于flatMap。（需要hive环境，暂时未测试 阅读全文