摘要： Spark ClassNotFoundException $$anonfun$2 1. 软件环境： 2. 应用场景&问题描述 运行任务的过程中，指定主类，比如a.b.c.Test， 那么主类是可以被调用的。比如已经运行到a.b.c.Test中的代码，但是接着会报诸如：ClassNotFound : 阅读全文

摘要： 1. 软件版本 2. 场景描述 在使用Spark时，有时需要存储DataFrame数据到Hive表中，一般的存储方式如下： 在DataFrame中存储一般的数据类型，比如Double、Float、String等到Hive表是没有问题的，但是在DataFrame中还有一个数据类型：vector ， 如 阅读全文

摘要： 需要实现的功能： 写访问spark的接口，也就是从web上输入网址就能把我们需要的信息通过提交一个job然后返回给我们json数据。 成果展示： 通过url请求，然后的到一个wordcount的json结果（借助的是谷歌浏览器postman插件显示的，直接在浏览器上输入网址是一样的效果） 使用的关键 阅读全文

摘要： 用scala语言，开发好了在spark平台上可以一直运行的机器学习模型 现在有个需求： 要远程调用该模型的一些方法并获取结果 那么可以使用jetty在服务器端主节点占用一个端口然后对外提供http服务 该程序运行后占用了服务器端主节点的9998端口，通过http访问即可 阅读全文

摘要： Scala 集合类系统地区分了可变的和不可变的集合。可变集合可以在适当的地方被更新或扩展。这意味着你可以修改，添加，移除一个集合的元素。而不可变集合类，相比之下，永远不会改变。不过，你仍然可以模拟添加，移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合，同时使原来的集合不发生改变。 所有 阅读全文

摘要： Scala与Java具有相同的数据类型，具有相同的内存占用和精度。以下是提供Scala中可用的所有数据类型的详细信息的表格： 上面列出的所有数据类型都是对象。Scala中没有类似Java中那样的原始类型。 这意味着您可以调用Int，Long等方法。 Scala基本文字 Scala用于文字的规则是简单 阅读全文

摘要： 枚举通常用来定义已知数量的常量，比如月份，星期，季节等等，用过java的人都知道定义枚举的关键字是enum，在scala里面和java有所不同，来看一个完整的例子定义： 上面的这个例子基本涵盖了枚举的所有常用方法，定义枚举我们继承的是Enumeration抽象类，然后通过内部对象Value来赋值每一 阅读全文

摘要： 如果您熟悉Java语言语法和编程，那么学习Scala将会很容易。Scala和Java之间最大的句法差异在于行结束字符的分号(;) 是可选的。 当编写Scala程序时，它可以被定义为通过调用彼此的方法进行通信的对象的集合。现在我们简单地看一下类，对象，方法和实例变量的含义。 对象 - 对象有状态和行为 阅读全文

摘要： Scala可以安装在任何基于UNIX/Linux或基于Windows的系统上。在您的机器上开始安装Scala之前，必须在计算机上安装Java 1.8或更高版本。 下面请按照以下步骤安装Scala。 步骤1：安装Java 首先，您需要在系统上安装Java软件开发工具包(SDK)。要验证是否已经安装了J 阅读全文

摘要： 从jvm来看，scala中的@究竟是个什么鬼？ 我也是初步尝试来看jvm的类文件，又是初次来分析@，如不对的地方，请各位指正！ 先看一下@ 是个什么？ 运行结果： 但 @在idea中源代码中点击不开,既不是 函数,也不是运算符,那scala中编译后究竟是什么呢 ?能否 从JVM来看看 ? 1，写2个 阅读全文