上一页 1 2 3 4 5 6 ··· 20 下一页
  2019年1月16日
摘要:一、需求:把最终结果存储在mysql中 1、UrlGroupCount1类 2、mysql创建数据库和表 3、结果 二、Spark提供的连接mysql的方式--jdbcRDD 1、JdbcRDDDemo类 2、结果 阅读全文
posted @ 2019-01-16 00:10 末 阅读(1667) 评论(0) 推荐(0) 编辑
  2019年1月15日
摘要:一、需求:计算网页访问量前三名 结果: 二、需求:求出每个学院 访问第一位的网址 结果: 三、需求:加入自定义分区,按照学院分区,相同的学院分为一个结果文件 结果: 1、part-00000 2、part-00001 3、part-00002 四、pom.xml文件 五、数据access.log 2 阅读全文
posted @ 2019-01-15 21:35 末 阅读(152) 评论(0) 推荐(0) 编辑
  2019年1月13日
摘要:一、Spark-RDD算子简介 二、RDD创建 例子: 三、常用Transformation 1、map(func) 2、flatMap(func) 3、sortby 4、reduceByKey 5、filter 过滤 6、union 并集 7、groupByKey 分组 8、intersectio 阅读全文
posted @ 2019-01-13 20:02 末 阅读(209) 评论(0) 推荐(0) 编辑
  2019年1月10日
摘要:一、Spark概述 二、Spark特点 三、Spark安装部署 四、启动spark­shell 五、spark集群角色 六、Shell编写WordCount 1、本地模式:bin/spark-shell 其中words.txt文件内容如下 2、集群启动:bin/spark-shell --maste 阅读全文
posted @ 2019-01-10 22:42 末 阅读(471) 评论(0) 推荐(0) 编辑
  2019年1月6日
摘要:一、隐式 (一)隐式参数 1、ImplicitTest 结果: 2、ImplicitTest1 结果: 3、KelihuaImplicit 结果: (二)隐式转换类型 4、FileMain 5、RichFile 结果: (三)隐式类 6、ReadImplicit 结果: 二、泛型 1、Anythin 阅读全文
posted @ 2019-01-06 19:21 末 阅读(760) 评论(0) 推荐(0) 编辑
摘要:一、并发编程模型AKKA 1、Actor模型 2、Actor工作机制 二、AKKA编程 1、需求 我发消息,自己收 结果: 2.需求 一个Actor发送消息,另外一个Actor接收消息 (1)TomActor (2)JohnActor (3)QqDriver (4)结果 3、maven依赖pom文件 阅读全文
posted @ 2019-01-06 16:58 末 阅读(820) 评论(0) 推荐(0) 编辑
摘要:我们要封装数据,定义模板等操作,所以我们需要面向对象。 一、scala中的单例对象 1、ScalaTest 2、ScalaMain 结果: 二、scala类与构造器的使用 1、Person1 2、Person2 结果: 3、Person3 结果: 三、构造器的访问权限 1、Person4 2、Sca 阅读全文
posted @ 2019-01-06 13:05 末 阅读(366) 评论(0) 推荐(0) 编辑
  2019年1月3日
摘要:一、scala数组 二、数组方法 1、map(映射) 例: 2、flatten(扁平化操作) 3、flatMap(相当于先map操作再flatten) 4、foreach(遍历数组中的元素) 5、GroupBy(分组) 6、sortBy(排序) 三、集合 例: 四、长度可变的数组 五、Seq序列 例 阅读全文
posted @ 2019-01-03 23:16 末 阅读(5370) 评论(0) 推荐(0) 编辑
  2018年12月31日
摘要:一、方法 二、函数 1、函数使用例子: 三、传值调用&传名调用 1、传值调用 输出结果 2、传名调用 输出结果 四、可变参数函数 1、java中的可变参数 2、scala中的可变参数 输出结果 五、默认参数值函数 1、例子 输出结果 六、高阶函数 1、例子 七、部分参数应用函数 1、例子 输出结果 阅读全文
posted @ 2018-12-31 20:38 末 阅读(678) 评论(0) 推荐(0) 编辑
摘要:循环的一些例子: 阅读全文
posted @ 2018-12-31 16:43 末 阅读(500) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 20 下一页