又又IT

摘要： fieldsLists.removeAll(fieldsRestturnLists); SimplePropertyPreFilter filter = new SimplePropertyPreFilter(); filter.getExcludes().addAll(fieldsLists); 阅读全文

摘要： //截取字符串 String[] propertyIdListString = jdzPortArgumentsVO.getPropertyIdList().split(","); //string 转为 long List<Long> propertyIdList = Arrays.stream( 阅读全文

摘要： 项目中使token 如果项目架构采用前后端分离，并采用分布式架构，通过定义接口API,与前端进行数据交互，前端通过html前行实现。若加入移动端（Andriod,ios）实现，可直接使用API接口实现即可。由于该项目进行前后端分离，session就没有意义了。并且移动端也是无法使用session的。 阅读全文

摘要： ip.scala DataMyRedis.scala Jpoods.scala shell脚本 flum-kafka.conf 阅读全文

摘要： 示例一： 生产者 消费者 阅读全文

摘要： 1.workcount 2.将数据写到redis 开启redis bin/redis-server etc/redis.conf 查看端口 ps -ef|grep redis 3.完整版SparkStreaming 阅读全文

摘要： 1.spark内核架构常用术语 Application:基于spark程序，包含一个driver program(客户端程序)和多个executeor（线程） Driver Progrom:代表着sparkcontext executeor:某个Application运行在worker node上的 阅读全文

摘要： 1.spark SQL简介 官网：http://spark.apache.org/ Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程对象，叫DataFrame，并且作为分布式SQL查询引擎的作用 2.为什么要学习spark SQL 2.1 我们已经学习了Hive，它是将H 阅读全文

摘要： teacher.log 阅读全文

摘要： 1.广播变量 1.1. Spark提供的Broadcast Variable,是只读的，并且在每个节点上只会有一份副本，而不会为每个task都拷贝一份副本 1.2.它的最大作用，就是减少变量到各个节点的网络传输消耗，以及各个节点上的内存消耗 1.3.spark自己内部也是用了高效的广播栓发来减少网络 阅读全文