Code_exploration

摘要： 一：交互式shell命令 Scala有自己的交互式shell，前提是要安装scala解释器。 我们成功安装scala后，命令行输入scala，我们就会看到交互式shell，scala> 例如：scala>1+2 解释器会打印：res0:Int=3，当然res0这个结果还可以再次使用。 当然，学习一门 阅读全文

摘要： 1.Scala语言是一种“可伸展的语言”，为什么？因为它被设计成可以随着使用者的需求而扩展，从编写简单脚本到建立大型系统。 2.Scala语言是一种把面向对象和函数式编程理念加入静态类型语言的混合体。 3.Scala语言的特性：兼容性，简洁，高层抽象和高级的静态类型变化。 4.Scala不需要脱离j 阅读全文

摘要： 1.SparkSQL集成Hive，需将hive-site.xml复制到{SAPRK_HOME/conf}目录下，即可！！ a.将hive-site.xml复制到{SAPRK_HOME/conf}目录下； b.将hive-site.xml复制到所有Spark节点； c.将MySQL驱动包[mysql- 阅读全文

摘要： 阅读全文

摘要： 可以加载好多种外部数据源的格式，例如：csv，text，json，parquet等。我们在这里讲解下json和parquet格式。 json： 代码： def main(args: Array[String]): Unit = { val spark = SparkSession.builder() 阅读全文

摘要： 反射机制 1.RDD[Person] (case:反射机制) >DataFrameF[ROW] >DataSet[Person] RDD DF DS Person ["name","age","address"] {Person：("name","age","address")} Person [" 阅读全文

摘要： 一：首先将我们从文本中读取的数据映射到表也就是视图 eg: $>cat b.txt 1 ded 2 dsfre 3 sfs 4 fr $>val sc = spark.sparkContext #创建SparkContext $>val rdd = sc.textFile("file:///home 阅读全文

摘要： 使用DF.createTempView("person")对数据集注册临时表 通过spark.sql(.....) 代码说明： df_rdd.createTempView("person") spark.sql("select * from person where name like '%0%'" 阅读全文

摘要： 1. Spark SQL定位处理结构化数据的模块。SparkSQL提供相应的优化机制，并支持不同语言的开发API。 java、scala、Python，类SQL的方法调用（DSL） 2. RDD与Spark SQL的比较说明： 使用Spark SQL的优势：a.面向结构化数据；b.优化机制； RDD 阅读全文

摘要： 步骤： 1.在Linux下安装netcat工具，用户开启socket客户端： a.切换至root下 $>su root b.执行安装命令 $>yum install -y nc c.切换至Alex_lei用户下，模拟聊天室： $>nc 开启服务端 $>nc -l 55555 开启客户端 $>nc l 阅读全文