摘要：正文 中午闲着有点时间，做个demo睡觉去，这个例子网上应该都有，自己只是敲一下给自己做个记录。 public static void main(String[] args) { int[] whitelist = new int[]{12,13,34,56,78,88,99,100}; Array 阅读全文

摘要：正文 上一篇简单的写了一个socketTextStream的demo，这个问题就是每一次不能将之前和之后的数据进行合并统一。接下来我们通过demo进行把着这个问题解决。 通过代码中的注释已经算是对这个方法的解释了，因为他可以拿到上一个计算结果，同时能读到当前数据，进行合并就显得简单的多了sc.che 阅读全文

摘要：正文 SparkStreaming的入口是StreamingContext，通过scala实现 一个简单的实时获取数据。代码SparkStreaming官网也可以找到。 通过maven配置相关的配置，可能有时候会遇到如下情况： 找到你的maven配置pop.xml,将对应的spark-streami 阅读全文

摘要：正文 下载Spark版本，这版本又要求必须和jdk与hadoop版本对应。 tar -zxvf 解压到指定目录，进入conf进行培训。spark-env.sh.template 改为 spark-env.sh，注册 export SPARK_DAEMON_JAVA_OPTS="-Dspark.dep 阅读全文