摘要：
这段时间经常遇到IDEA闪退的问题，在网上搜了一大堆的博客，无外乎是说让修改下面两个文件，但是改来改去没什么卵用，最后重装IDEA,一样的，没什么用。持续时间有几个月了，内心也有点崩溃，昨天下午彻底心态崩了，就出了实验室买了包烟，自己猛抽，不过最后问题还是要解决的，不吹逼了，老哥开始教程。 上面这个 阅读全文
posted @ 2018-09-19 09:43
stone1234567890
阅读(5703)
评论(0)
推荐(0)
摘要：
1.读取行 要读取文件中所有的行，可以调用scala.io.Source对象的getLine方法： 结果是一个迭代器，可以用其来逐条处理行 for(1<- lineIterator) 处理1 或者可以对其迭代器应用toArray或者toBuffer方法，将这些放到数组或者数组缓冲中去：val lin 阅读全文
posted @ 2018-09-17 21:50
stone1234567890
阅读(300)
评论(0)
推荐(0)
摘要：
1.scala:java语言脚本化 2.object //静态成员 3.class //class 4.trait //接口 5.def xxx(a:Int):Unit={} //函数的定义，函数有=号 6.def xxx(a:Int):Unit{} //定义过程 7.val //常量 8.var 阅读全文
posted @ 2018-09-17 20:13
stone1234567890
阅读(168)
评论(0)
推荐(0)
摘要：
1.包 Scala中的包和Java或者C++中命名空间的目的是相同的：管理大型程序中的名称。 //包对象，编译完成之后生成以xxx为package，下面含有类package.class+package.class 2.scala java语言脚本化 object //静态成员 class //cla 阅读全文
posted @ 2018-09-17 09:56
stone1234567890
阅读(105)
评论(0)
推荐(0)
摘要：
一、简介 1.kafka是一个分布式的、可分区的、可复制的消息系统。它提供了消息系统的功能，但是有自己独特的设计。 2.名词解释： (1)topic:kafka将罅隙以topic为单位 (2)producer:向kafka发送消息的程序 (3)consumer:将预定topics并消费的程序 (4) 阅读全文
posted @ 2018-09-16 14:09
stone1234567890
阅读(250)
评论(0)
推荐(0)
摘要：
1.大数据可视化：通过报表 2.项目来源：电信运营商通过电话交换机来记录每一组通话，用exe tail-flume来进行数据的收集，利用kafka来消费数据。 数据在hbase中要避免热点问题，由于大量数据拥塞在Hbase集群的一个或者几个节点上，造成热点问题的主要问题就是rowKew设计不当。避免 阅读全文
posted @ 2018-09-16 14:08
stone1234567890
阅读(129)
评论(0)
推荐(0)
摘要：
break 跳出循环； continue 继续循环，（不执行 循环体内continue 后面的语句，直接进行下一循环） return 跳出函数，返回调用函数 处。 如以下语句 int i = 0; while(1) // < . { // | i++; // | if( i % 2 ) //如果 i 阅读全文
posted @ 2018-09-16 08:24
stone1234567890
阅读(209)
评论(0)
推荐(0)
摘要：
1.单例对象。Scala没有静态方法或字段，可以使用object这个语法结构来达到同样的目的。对象定义了单个实例，包含了你想要的特性。 Scala没有静态的概念，如果需要定义静态成员，可以通过object来实现 编译完成后，会生成对应的类，方法都是静态方法，非静态成员对应到单例类中去。 单例类以Ut 阅读全文
posted @ 2018-09-16 07:22
stone1234567890
阅读(148)
评论(0)
推荐(0)
摘要：
1.简单类和无参方法 calss Counter{ private var value = 0 //必须初始字段 def increment(){value +=1} //方法默认是公有的 def current()=value } 在Scala中，类并不声明为publuc。Scala源文件可以包含 阅读全文
posted @ 2018-09-15 21:23
stone1234567890
阅读(171)
评论(0)
推荐(0)
摘要：
1.MapReduce编程模型概述 MapReduce编程模型给出了分布式的编程方法，总共分为5个步骤。分为这5个步骤的优点：组件化和并行化 (1)迭代。遍历输入数据，并将其解析成key/value键值对 (2)将输入的key/value对映射(map)成另外一些key/value对 (3)依据ke 阅读全文
posted @ 2018-09-15 13:41
stone1234567890
阅读(321)
评论(0)
推荐(0)
浙公网安备 33010602011771号