Cccc杨

摘要：一、saveAsTextFile(path:String) 把RDD保存到hdfs中。 二、reparation(numPartitions:Int) 可以增加或减少此RDD的并行级别 在内部 它使用shuffle重新分发数据。 //首先查看这个RDD有多少分区 scala> allscores.p 阅读全文

摘要：Transformation类型算子:不会定义后立即执行的算子 Actions类型算子：立即执行 1.map算子 把原来的数据用map的自定义形式来切换成新的RDD。 scala> rdd_f1.collect() res32: Array[String] = Array(i am a sutdne 阅读全文

摘要：一、注意事项： 在zoo.cfg文件中设置的zkDir位置下创建zkDate目录，并且增加一个 myid 的文件，文件内容为当前节点的zookeeper的编号。 二、基本操作： 1. ls / 查看当前znode所包含的内容 2. ls2 / 查看当前znode节点的详细数据。 3.create / 阅读全文

摘要：泛型： 一种未知的数据类型，当不知道使用什么数据类型的时候可以使用泛型。 也可以看做是一个变量，用来接收数据。 例如： E e ：element 元素 T t ：type 类型 ArrayList集合在定义的时候，不知道集合中会存那些数据类型的数据，所以类型使用泛型E定义未知数据。 例如： publ 阅读全文

摘要：迭代器： 即Collection集合元素的通用获取方式，在取出元素之前要先判断集合中有无元素，如果有，取出；继续判断、取出，直到把所有元素取出。 Iterator两个常用方法： boolean hasNext（）：集合中有没有下一个元素，有就返回true E next（）：取出集合中的下一个元素 使 阅读全文