摘要：package test.sort; import static io.snowfly.algorithms.sort.SortTest.exchange; import static io.snowfly.algorithms.sort.SortTest.printArray; public cl 阅读全文

摘要：//step1 下载spark,我官网下载的spark2.4.4 hadoop2.7.3预编译版本 解压即可以使用//这里需要注意一点，我本机安装了最新的openjdk13，执行sparksql的时候报错，//解决方法修改spark-env.sh 更新JAVA_HOME=/PATH/TO/JDK8 阅读全文

摘要：想在本机测试一下,spark read write to s3 cloud storeage. minio是一个不错的选择，轻量，兼容aws s3协议。 可以使用docker来做。 #拉取镜像 docker pull minio/minio#启动容器docker run -p 9000:9000 - 阅读全文

摘要：上一篇文章中 我使用 maxmind的免费库开发了一个waterdrop的 插件，测试数据发现，国内的有些市级还是不准确，而且香港并不是显示中国，这就不友好了。 找了一下，发下 ip2region 这个很不错。https://github.com/lionsoul2014/ip2region 我使用 阅读全文

摘要：记录下自己使用idea导入spark examples项目的过程。 spark examples 项目可以给我们提供很多有益的参考，经常看看这些代码有助于提高我们写scala代码的水平。 只导入spark-example项目，其他不管，这个项目使用maven管理依赖，导入的时候选择maven. 我并 阅读全文

摘要：java.nio.charset.coderresult.throwexception（coderresult.java.281） 把下面的代码 val lines = scala.io.Source.fromPath(fileName) 改为 val lines = scala.io.Source 阅读全文

摘要：Scala 快排 Scala 基本思想：经过一趟排序，把待排对象分成两个独立的部分，一部分的数据大（小）于另一部分，同理，对子对象进行如此处理，以达到所有数据都有序。 下面是优化版的快排，可以接受更多的类型进行排序，而且返回值与传入值对应。 阅读全文

摘要：消息传递　消息本身要求是什么？是否必须可以序列化？消息传递根据传递的要求严格程序依次分为三类，１.至多一次到达　至消息最多一次传递到目的端，消息可能会丢失，但不会重复２.至少一次到达　潜在可能存在多次尝试在传送一次消息的时候，这种情况下，消息不会丢失，至少一次３.有切只有一次到达　表述很明确，消息有 阅读全文

摘要：maven shade plugin插件小用 项目中一直使用assembly插件来整合依赖包到一个胖jar,在做这个akka http项目的时候,在scala ide的run/debug中都执行正常,打包后执行就一直报报不到configuration项目的问题. 判断是assembly在解压合并相关 阅读全文

摘要：http://www.cnblogs.com/deerchao/archive/2006/08/24/zhengzhe30fengzhongjiaocheng.html. 匹配除换行符以外的任意字符\w 匹配字母或数字或下划线或汉字\s 匹配任意的空白符\d 匹配数字\b 匹配单词的开始或结束^ 匹 阅读全文

摘要：1.spark rdd为什么不能嵌套? 譬如 val rdd1=sc.parallel(range(1,100)) val rdd2=sc.parallel(range(1,100)) rdd1.map(x=>rdd.count()) 因为rdd的构造器中rdd(@trancient sc:Spar 阅读全文

摘要：yield 在学习c#的时候学习过这个关键字，和这时的语义是一致的。 当你生成一个新的迭代器，而并不是想立刻使用，而是在其他地方使用的时候，可以延迟生成这个集合， 这时候yield关键字可以帮你完成这样的功能。 这就你是一个支票，可以让你在需要的时候向jvm取到集合数据。它是延迟实现的集合。 val a=for (i "one" case 2 => "... 阅读全文

摘要：// scalastyle:off println package org.apache.spark.examples.streaming import kafka.serializer.StringDecoder import org.apache.spark.SparkConf import org.apache.spark.streaming._ import org.apache.... 阅读全文

摘要：函数式编程 函数式编程，结构化编程，OO编程都是编程的方法论。 函数式编程主要思想是把运算过程尽量写成一系列嵌套的函数调用。 特点如下： 1。函数可以像其他数据类型一样使用 可以可以赋值给其他变量，可以作为参数传入另一个函数或者作为别的函数的返回值 2。只用表达式，不用语句 表达式是 个单纯的运算过程，总是有返回值。语句是执行某种操作，没有返回值。 3。不修改状态 ... 阅读全文

摘要：val msg="Hello,World" Scala 可以根据赋值的内容推算出变量的类型。这在Scala语言中成为“type inference”。 Scala访问数组的语法是使用()而非[]。 Scala不支持++i和i++运算符，因此需要使用i += 1 来加一 当你在某个值后面使用()时，Scala将其翻译成对应对象的apply方法 REPL scala 交互式编译的工具 ... 阅读全文