随笔分类 -  Scala

初级排序Java版代码记录
摘要:package test.sort; import static io.snowfly.algorithms.sort.SortTest.exchange; import static io.snowfly.algorithms.sort.SortTest.printArray; public cl 阅读全文

posted @ 2020-11-16 09:29 tneduts 阅读(127) 评论(0) 推荐(0)

本机使用sparkshell测试s3读写数据小记
摘要://step1 下载spark,我官网下载的spark2.4.4 hadoop2.7.3预编译版本 解压即可以使用//这里需要注意一点,我本机安装了最新的openjdk13,执行sparksql的时候报错,//解决方法修改spark-env.sh 更新JAVA_HOME=/PATH/TO/JDK8 阅读全文

posted @ 2020-01-05 19:48 tneduts 阅读(1503) 评论(0) 推荐(0)

spark write data to minio test
摘要:想在本机测试一下,spark read write to s3 cloud storeage. minio是一个不错的选择,轻量,兼容aws s3协议。 可以使用docker来做。 #拉取镜像 docker pull minio/minio#启动容器docker run -p 9000:9000 - 阅读全文

posted @ 2020-01-05 14:05 tneduts 阅读(1642) 评论(0) 推荐(0)

geoip ip2region2 with spark
摘要:上一篇文章中 我使用 maxmind的免费库开发了一个waterdrop的 插件,测试数据发现,国内的有些市级还是不准确,而且香港并不是显示中国,这就不友好了。 找了一下,发下 ip2region 这个很不错。https://github.com/lionsoul2014/ip2region 我使用 阅读全文

posted @ 2019-12-26 21:43 tneduts 阅读(719) 评论(0) 推荐(0)

spark examples 导入idea并测试
摘要:记录下自己使用idea导入spark examples项目的过程。 spark examples 项目可以给我们提供很多有益的参考,经常看看这些代码有助于提高我们写scala代码的水平。 只导入spark-example项目,其他不管,这个项目使用maven管理依赖,导入的时候选择maven. 我并 阅读全文

posted @ 2018-11-18 16:15 tneduts 阅读(990) 评论(0) 推荐(0)

提醒,处理字符串和文件的时候一定要注意编码
摘要:java.nio.charset.coderresult.throwexception(coderresult.java.281) 把下面的代码 val lines = scala.io.Source.fromPath(fileName) 改为 val lines = scala.io.Source 阅读全文

posted @ 2018-11-08 12:04 tneduts 阅读(325) 评论(0) 推荐(0)

Scala快速排序
摘要:Scala 快排 Scala 基本思想:经过一趟排序,把待排对象分成两个独立的部分,一部分的数据大(小)于另一部分,同理,对子对象进行如此处理,以达到所有数据都有序。 下面是优化版的快排,可以接受更多的类型进行排序,而且返回值与传入值对应。 阅读全文

posted @ 2018-10-19 11:06 tneduts 阅读(766) 评论(1) 推荐(0)

akka消息传递
摘要:消息传递 消息本身要求是什么?是否必须可以序列化?消息传递根据传递的要求严格程序依次分为三类,1.至多一次到达 至消息最多一次传递到目的端,消息可能会丢失,但不会重复2.至少一次到达 潜在可能存在多次尝试在传送一次消息的时候,这种情况下,消息不会丢失,至少一次3.有切只有一次到达 表述很明确,消息有 阅读全文

posted @ 2017-10-26 19:09 tneduts 阅读(301) 评论(0) 推荐(0)

maven shade插件小记
摘要:maven shade plugin插件小用 项目中一直使用assembly插件来整合依赖包到一个胖jar,在做这个akka http项目的时候,在scala ide的run/debug中都执行正常,打包后执行就一直报报不到configuration项目的问题. 判断是assembly在解压合并相关 阅读全文

posted @ 2017-09-08 15:16 tneduts 阅读(830) 评论(0) 推荐(0)

scala和正则表达式常用基础知识示例
摘要:http://www.cnblogs.com/deerchao/archive/2006/08/24/zhengzhe30fengzhongjiaocheng.html. 匹配除换行符以外的任意字符\w 匹配字母或数字或下划线或汉字\s 匹配任意的空白符\d 匹配数字\b 匹配单词的开始或结束^ 匹 阅读全文

posted @ 2017-05-20 07:31 tneduts 阅读(698) 评论(0) 推荐(0)

有关RDD的基础学习1
摘要:1.spark rdd为什么不能嵌套? 譬如 val rdd1=sc.parallel(range(1,100)) val rdd2=sc.parallel(range(1,100)) rdd1.map(x=>rdd.count()) 因为rdd的构造器中rdd(@trancient sc:Spar 阅读全文

posted @ 2017-05-18 21:50 tneduts 阅读(409) 评论(0) 推荐(0)

scala Basic 第三课
摘要:yield 在学习c#的时候学习过这个关键字,和这时的语义是一致的。 当你生成一个新的迭代器,而并不是想立刻使用,而是在其他地方使用的时候,可以延迟生成这个集合, 这时候yield关键字可以帮你完成这样的功能。 这就你是一个支票,可以让你在需要的时候向jvm取到集合数据。它是延迟实现的集合。 val a=for (i "one" case 2 => "... 阅读全文

posted @ 2016-03-05 20:56 tneduts 阅读(220) 评论(0) 推荐(0)

spark streaming kafka example
摘要:// scalastyle:off println package org.apache.spark.examples.streaming import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.streaming._ import org.apache.... 阅读全文

posted @ 2016-03-02 19:05 tneduts 阅读(1075) 评论(0) 推荐(0)

Scala编程第二课
摘要:函数式编程 函数式编程,结构化编程,OO编程都是编程的方法论。 函数式编程主要思想是把运算过程尽量写成一系列嵌套的函数调用。 特点如下: 1。函数可以像其他数据类型一样使用 可以可以赋值给其他变量,可以作为参数传入另一个函数或者作为别的函数的返回值 2。只用表达式,不用语句 表达式是 个单纯的运算过程,总是有返回值。语句是执行某种操作,没有返回值。 3。不修改状态 ... 阅读全文

posted @ 2016-02-29 15:58 tneduts 阅读(265) 评论(0) 推荐(0)

scala 第一课
摘要:val msg="Hello,World" Scala 可以根据赋值的内容推算出变量的类型。这在Scala语言中成为“type inference”。 Scala访问数组的语法是使用()而非[]。 Scala不支持++i和i++运算符,因此需要使用i += 1 来加一 当你在某个值后面使用()时,Scala将其翻译成对应对象的apply方法 REPL scala 交互式编译的工具 ... 阅读全文

posted @ 2016-02-28 11:20 tneduts 阅读(170) 评论(0) 推荐(0)

导航