Cccc杨

导航

2021年3月11日 #

spark中的文件读取与存储

摘要： 一、saveAsTextFile(path:String) 把RDD保存到hdfs中。 二、reparation(numPartitions:Int) 可以增加或减少此RDD的并行级别 在内部 它使用shuffle重新分发数据。 //首先查看这个RDD有多少分区 scala> allscores.p 阅读全文

posted @ 2021-03-11 16:50 Cccc杨 阅读(204) 评论(0) 推荐(0)

2021年3月8日 #

spark中的算子

摘要： Transformation类型算子:不会定义后立即执行的算子 Actions类型算子：立即执行 1.map算子 把原来的数据用map的自定义形式来切换成新的RDD。 scala> rdd_f1.collect() res32: Array[String] = Array(i am a sutdne 阅读全文

posted @ 2021-03-08 15:48 Cccc杨 阅读(307) 评论(0) 推荐(0)

2021年3月2日 #

Zookeeper的基本安装和操作

摘要： 一、注意事项： 在zoo.cfg文件中设置的zkDir位置下创建zkDate目录，并且增加一个 myid 的文件，文件内容为当前节点的zookeeper的编号。 二、基本操作： 1. ls / 查看当前znode所包含的内容 2. ls2 / 查看当前znode节点的详细数据。 3.create / 阅读全文

posted @ 2021-03-02 17:12 Cccc杨 阅读(110) 评论(0) 推荐(0)

2021年3月1日 #

Java中的泛型

摘要： 泛型： 一种未知的数据类型，当不知道使用什么数据类型的时候可以使用泛型。 也可以看做是一个变量，用来接收数据。 例如： E e ：element 元素 T t ：type 类型 ArrayList集合在定义的时候，不知道集合中会存那些数据类型的数据，所以类型使用泛型E定义未知数据。 例如： publ 阅读全文

posted @ 2021-03-01 21:29 Cccc杨 阅读(59) 评论(0) 推荐(0)

Java中的Iterator接口

摘要： 迭代器： 即Collection集合元素的通用获取方式，在取出元素之前要先判断集合中有无元素，如果有，取出；继续判断、取出，直到把所有元素取出。 Iterator两个常用方法： boolean hasNext（）：集合中有没有下一个元素，有就返回true E next（）：取出集合中的下一个元素 使 阅读全文

posted @ 2021-03-01 20:58 Cccc杨 阅读(76) 评论(0) 推荐(0)

2021年2月28日 #

Java中的集合Collection

摘要： 集合：一种容器，用来存储多个数据。 数组也是容器。 但是长度是固定的，集合长度是可变的。 数组可以存储基本类型（只能是同一个类型），也可以存储对象。集合存储的都是对象，而且对象的类型可以不一致。 学习集合的目标： 1.会使用集合存储数据 2.会遍历集合 把数据取出 3.掌握每种集合的特性 集合框架的 阅读全文

posted @ 2021-02-28 21:26 Cccc杨 阅读(55) 评论(0) 推荐(0)

Java中的包装类

摘要： 包装类： 拆箱和装箱： 基本类型与对应包装类对象之间，来回转换的过程称为“装箱”和“拆箱”。 装：从基本类型装换转化为对应的包装类对象。 拆：相反。 自动拆箱与自动装箱： //自动装箱 直接把int类型的整数赋值给包装类 Integer in = 1; //相当于 Integer in = new 阅读全文

posted @ 2021-02-28 21:23 Cccc杨 阅读(38) 评论(0) 推荐(0)

2021年2月24日 #

Java中StringBuilder

摘要： string类： 字符串是常量 它们的值在创建之后不能更改 字符串的底层是一个被final修饰的数组 不能改变 是一个常量 进行字符串的相加时 内存中会有多个字符串，占用的空间很多 效率低下 String s = "a" + "b" + "c" s="abc" a b c这是三个字符串 第一次➕ a 阅读全文

posted @ 2021-02-24 21:48 Cccc杨 阅读(121) 评论(0) 推荐(0)

Java中System类的两个常用方法

摘要： 1.currentTimeMills 返回以毫秒为单位的时间 可以用于计算程序的效率 2.arraycopy 方法 可以更改数组的元素内容 arraycopy(int [] arr,int arrIndex,int[] desc,int destIndex,int count) 阅读全文

posted @ 2021-02-24 20:28 Cccc杨 阅读(43) 评论(0) 推荐(0)

2021年2月23日 #

Flume的Channel选择器

摘要： a1.sources = r1a1.channels = c1 c2a1.sinks = s1 s2a1.sources.r1.type = netcata1.sources.r1.bind = mastera1.sources.r1.port = 44444a1.sources.r1.channe 阅读全文

posted @ 2021-02-23 19:49 Cccc杨 阅读(239) 评论(0) 推荐(0)

下一页