摘要：
1.创建一个累加变量 使用SparkContext的如上方法，可以创建一个累加变量。默认情况下，这里的T是int或者double，因此如果想要创建T为long的累加变量是不行的。 2.AccumulatorParam介绍 概念： initialValue：Accumulator的初始值，也就是调用S 阅读全文
摘要：
1.将多个文本文件读入一个RDD中 SparkConf conf=new SparkConf() .setMaster("local") .setAppName("save"); JavaSparkContext sc=new JavaSparkContext(conf); JavaRDD<Stri 阅读全文
摘要：
先来描述一下问题： 如果你是从基于文本的数据源来创建DataFrame的，当你将DataFrame注册为临时表后，如果对这个临时表进行insert into 操作，会抛出异常的。 问题答案参见：http://apache-spark-user-list.1001560.n3.nabble.com/H 阅读全文
摘要：
这个大坑... .... 如题，在Windows的eclipse中编写SparkSQL代码时，编写如下代码时，一运行就抛出一堆空指针异常： // 首先还是创建SparkConf SparkConf conf = new SparkConf() .setMaster("local") .setAppN 阅读全文
摘要：
Session 1.sessionId <机器的SID,当前时间>生成一个sessionId,这是全局唯一的。 2.TimeOut 会话的超时时间，注意，这个值和客户端ZooKeeper对象指定的超时不一定相同 3.TickTime 4.isClosing 当SessionTracker检测到会话已 阅读全文
摘要：
其实zookeeper系列的学习总结很早就写完了，这段时间在准备找工作的事情，就一直没有更新了。下边给大家送上，文中如有不恰当的地方，欢迎给予指证，不胜感谢！。 1. 数据模型 1.1. 只适合存储小数据 Zk维护着一个逻辑上的树形层次结构，树中的节点称为znode，个znode都有一个ACL（权限 阅读全文
摘要：
每一个Watcher具有如下属性： 1.KeeperState 2.EventType 3.path 4.process(WatchedEvent evnet)回掉方法 Watcher干嘛的？用户监听session的状态，数据节点的状态等。 watcher种类：defaultWatcher，非def 阅读全文
摘要：
create public String create(String path, byte[] data, List<ACL> acl, CreateMode createMode) throws KeeperException, InterruptedException 1.不支持递归创建节点，比 阅读全文
摘要：
样本空间和事件 概率论公理 sample space：一个实验所有结果的可能的集合。 1.比如抛一枚硬币，其样本空间s={正面，反面} 2.若实验是考察一个晶体管的寿命(小时)，那么样本空间是所有大于等于0的实数的集合S={x:0<=x} 可以发现，样空空间可以是有限的，也可以是无限的。 event 阅读全文
摘要：
在一个application内部，不同线程提交的Job默认按照FIFO顺序来执行,假设线程1先提交了一个job1，线程2后提交了一个job2，那么默认情况下，job2必须等待job1执行完毕后才能执行，如果job1是一个长作业，而job2是一个短作业，那么这对于提交job2的那个线程的用户来说很不友 阅读全文