摘要： 一、需求：把最终结果存储在mysql中 1、UrlGroupCount1类 2、mysql创建数据库和表 3、结果 二、Spark提供的连接mysql的方式--jdbcRDD 1、JdbcRDDDemo类 2、结果 阅读全文

摘要： 一、需求：计算网页访问量前三名 结果： 二、需求：求出每个学院 访问第一位的网址 结果： 三、需求：加入自定义分区，按照学院分区，相同的学院分为一个结果文件 结果： 1、part-00000 2、part-00001 3、part-00002 四、pom.xml文件 五、数据access.log 2 阅读全文

摘要： 一、Spark-RDD算子简介 二、RDD创建 例子： 三、常用Transformation 1、map(func) 2、flatMap(func) 3、sortby 4、reduceByKey 5、filter 过滤 6、union 并集 7、groupByKey 分组 8、intersectio 阅读全文

摘要： 一、Spark概述 二、Spark特点 三、Spark安装部署 四、启动spark­shell 五、spark集群角色 六、Shell编写WordCount 1、本地模式：bin/spark-shell 其中words.txt文件内容如下 2、集群启动：bin/spark-shell --maste 阅读全文

摘要： 一、隐式 （一）隐式参数 1、ImplicitTest 结果： 2、ImplicitTest1 结果： 3、KelihuaImplicit 结果： （二）隐式转换类型 4、FileMain 5、RichFile 结果： （三）隐式类 6、ReadImplicit 结果： 二、泛型 1、Anythin 阅读全文

摘要： 一、并发编程模型AKKA 1、Actor模型 2、Actor工作机制 二、AKKA编程 1、需求 我发消息，自己收 结果： 2.需求 一个Actor发送消息，另外一个Actor接收消息 (1)TomActor (2)JohnActor (3)QqDriver (4)结果 3、maven依赖pom文件 阅读全文

摘要： 我们要封装数据，定义模板等操作，所以我们需要面向对象。 一、scala中的单例对象 1、ScalaTest 2、ScalaMain 结果： 二、scala类与构造器的使用 1、Person1 2、Person2 结果： 3、Person3 结果： 三、构造器的访问权限 1、Person4 2、Sca 阅读全文

摘要： 一、scala数组 二、数组方法 1、map（映射） 例： 2、flatten（扁平化操作） 3、flatMap（相当于先map操作再flatten） 4、foreach（遍历数组中的元素） 5、GroupBy（分组） 6、sortBy（排序） 三、集合 例： 四、长度可变的数组 五、Seq序列 例 阅读全文

摘要： 一、方法 二、函数 1、函数使用例子： 三、传值调用&传名调用 1、传值调用 输出结果 2、传名调用 输出结果 四、可变参数函数 1、java中的可变参数 2、scala中的可变参数 输出结果 五、默认参数值函数 1、例子 输出结果 六、高阶函数 1、例子 七、部分参数应用函数 1、例子 输出结果 阅读全文

摘要： 循环的一些例子： 阅读全文