摘要： Scala 数据类型 Scala 与 Java有着相同的数据类型，下表列出了 Scala 支持的数据类型： 数据类型描述 Byte 8位有符号补码整数。数值区间为 -128 到 127 Short 16位有符号补码整数。数值区间为 -32768 到 32767 Int 32位有符号补码整数。数值区间 阅读全文

摘要： Scala 基础语法 如果你之前是一名 Java 程序员，并了解 Java 语言的基础知识，那么你能很快学会 Scala 的基础语法。 Scala 与 Java 的最大区别是：Scala 语句末尾的分号 ; 是可选的。 我们可以认为 Scala 程序是对象的集合，通过调用彼此的方法来实现消息传递。接 阅读全文

摘要： Scala 简介 Scala 是 Scalable Language 的简写，是一门多范式的编程语言 联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计Scala。 Funnel是把函数式编程思想和Petri网相结合的一种编程语言。 Odersky先 阅读全文

摘要： Spark初级编程实践 （1）Spark读取文件系统的数据 （1）在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数； （2）在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件 阅读全文

摘要： Spark核心概念每个Spark应用都由一个驱动器程序(driver program)来发起集群上的各种 并行操作。驱动器程序包含应用的 main 函数，并且定义了集群上的分布式数据集，还对这 些分布式数据集应用了相关操作。 驱动器程序通过一个 SparkContext 对象来访问 Spark。这个 阅读全文

摘要： 在IDEA中远程调试WordCount程序 通过IDEA进行远程调试，主要是将IDEA作为Driver来提交应用程序，配置过程如下： 修改sparkConf，添加最终需要运行的Jar包、Driver程序的地址，并设置Master的提交地址： 然后加入断点，直接调试即可： 阅读全文

摘要： sagdyagdaj 阅读全文

摘要： 3.6 在IDEA中本地调试WordCount程序 本地Spark程序调试需要使用local提交模式，即将本机当做运行环境，Master和Worker都为本机。运行时直接加断点调试即可。如下： 在IDEA中配置Run Configuration，添加HADOOP_HOME变量 阅读全文

摘要： 3.5 在IDEA中编写WordCount程序 spark shell仅在测试和验证我们的程序时使用的较多，在生产环境中，通常会在IDE中编制程序，然后打成jar包，然后提交到集群，最常用的是创建一个Maven项目，利用Maven来管理jar包的依赖。 1.创建一个项目 2.选择Maven项目，然后 阅读全文

摘要： 3.4 启动Spark Shellspark-shell是Spark自带的交互式Shell程序，方便用户进行交互式编程，用户可以在该命令行下用scala编写spark程序。 3.4.1 启动Spark shell/opt/modules/spark-2.1.1-bin-hadoop2.7/bin/s 阅读全文