摘要：
前面我们介绍了zeppelin的修改，前面由于自己的原因，对zeppelin的修改过于多，现在由于优化了，我们两个类， 一个是zeppelin-server的NotebookServer的类的broadcastParagraph(Note note,Paragraph p)的代码，另外 的一个是ze 阅读全文
摘要：
今天我们来介绍冒泡排序的优化算法，对于冒泡排序，相信大家都不会陌生，就是说从最后一个开始挑选，越小的越往上面冒，一般来说这个算法的时间复杂度为O(n^2),但是我们原来不知道想过没有，如果这个序列本身就是很工整的按照一个从小到大的序列进行排序，如果我们依然按照冒泡排序，会显得有点愚钝，例如这个序列为 阅读全文
摘要：
最近我在修改zeppelin(0.7版本)的源码相关的知识，目前做的工作是修改zeppelin的代码,为了让zeppelin可以可以在页面中显示数据集，并且在其数据库中存储式真实的路径1.如果我们要运行paragraph的代码的时候,我们要修改 我们要修改NotebookServer.setPara 阅读全文
摘要：
今天我们讲spark streaming的应用,这个是实时处理的，类似于Storm以及Flink相关的知识点, 说来也巧,今天的自己也去听了关于Flink的相关的讲座,可惜自己没有听得特别清楚,好像是 spark streaming与flink是竞争关系,好了,我们进入今天的主题吧 1.一般会做用户 阅读全文
摘要：
上面的一篇文章,对于zeppelin的使用,只是我们对于数据存储在文件中,每一次对于当我们连接数据库的时候都会有问题,今天刚好 把这个问题解决今天我们刚好来介绍如何使用zeppelin来与数据进行连接 首先,如上一篇文章,下载压缩包,改配置文件里面的东西,这些都做完了之后,如果我们要对数据库操作,所 阅读全文
摘要：
1.复杂的迭代计算 假如我们计算的需要100步的计算,但是当我执行到第99步的时候,突然数据消失, 根据血统,从头进行恢复,代价很高 sc.setCheckpointDir("共享存储文件系统的路径") //这些地址存储已经执行过的rdd 2.离线计算和实时计算 storm(实时计算) Flink 阅读全文
摘要：
想起马上就能回家了,心情是按捺不住的激动，唉，还是继续努力吧，其实不希望那么快就回家,感觉回去了就意味着马上就要回来了,人真的是神奇呀 今天我们来使用zeppelin,这个就是可以把我们查找的数据可以图形化的方式显示出来,好了,今天开始我们的任务吧 1.首先我们要下载zeppelin的压缩包,当我们 阅读全文
摘要：
1.spark与Hive结合起来 前提:当你spark的版本是1.6.1的时候,你的Hive版本要1.2.1,用别的版本会有问题 我们在做的时候,Hive的版本很简单,我们只需要解压缩,告诉他Hive的源数据在哪里即可 1.首先我们进入/conf/hive-site.xml文件,进行修改jdbc的配 阅读全文
摘要：
1.今天,我们来介绍spark以及dataframe的相关的知识点,但是在此之前先说一下对以前的hadoop的一些理解 当我启动hadoop的时候,上面有hdfs的存储结构,由于这个是分布式存储,所以当一个节点挂了之后,此后由于 还有别的机器上存储这些block块(这里面你肯定要问了,我们怎么知道它 阅读全文
摘要：
哈哈,今天我们来讲解一下有关于一些数组 或者是集合的知识点 1.ArrayList,LinkedList,Vector的区别 ArrayList,LinkedList,Vector都是实现List接口,但ArrayList，LinkedList不是同步的, 而Vector是同步的,ArrayList 阅读全文