01 2019 档案

python的面向对象
摘要：代码说明：类 类名：Fish 属性：name，age 构造函数：__init__() 成员函数：say() 私有成员函数：__kk() 类的属性和方法，当使用__时，表示为私有的，比如__age，则这个属性就是私有的，函数也是同样的，上述的__kk函数就是私有方法。 代码说明：类的单继承 阅读全文
posted @ 2019-01-31 16:19 Coding_Now 阅读(115) 评论(0) 推荐(0)
python异常处理
摘要：我们学的java语言是try{}catch{}语法，但在python中，使用的是try:except:语法 阅读全文
posted @ 2019-01-31 15:00 Coding_Now 阅读(123) 评论(0) 推荐(0)
迭代器和生成器
摘要：迭代器： 生成器： 阅读全文
posted @ 2019-01-30 15:32 Coding_Now 阅读(141) 评论(0) 推荐(0)
python函数
摘要：定义: 函数是指将一组语句的集合通过一个名字(函数名)封装起来，要想执行这个函数，只需要调用其函数名即可。 特性： 1.程序易于扩展 2.维护方便 3.减少重复代码 函数可带参数： 分类： 默认参数 关键字参数 必需参数 不定长参数 ^^举例说明哦：^^ 关键字参数：函数在调用时需要指定参数名字和参 阅读全文
posted @ 2019-01-30 15:23 Coding_Now 阅读(219) 评论(0) 推荐(0)
Scala的类和对象
摘要：object Test { def main(args: Array[String]): Unit = { val a1 = new tt //实例化对象 println(a1.a) a1.f(2) println(a1.a) println(a1) } } //定义一个类叫tt class tt{ var a = 0 //成员变量a d... 阅读全文
posted @ 2019-01-27 14:19 Coding_Now 阅读(145) 评论(0) 推荐(0)
Scala的文件操作
摘要：读取文件需要导入scala.io.Source，写入文件使用的是java的PrintWriter。 阅读全文
posted @ 2019-01-27 14:01 Coding_Now 阅读(923) 评论(0) 推荐(0)
Scala的set和map
摘要：一：Set -->不可变set -->可变set 注意： 所谓可变set和不可变set，默认是不可变的（不导包），意思就是集合只有用var声明，当我们添加一个新的元素时，它是生成了一个新的集合对象，所以只有用var声明，才可以添加。当我们导入包后，我们添加一个新的元素也还是之前的那个对象，没有生成新 阅读全文
posted @ 2019-01-27 13:30 Coding_Now 阅读(299) 评论(0) 推荐(0)
Scala入门再探
摘要：一：使用数组 二：使用列表，元素是不可变的 三：列表的方法 四：使用元组，元素也是不可变的，但是支持不同类型 阅读全文
posted @ 2019-01-27 10:35 Coding_Now 阅读(168) 评论(0) 推荐(0)
Scala入门初探
摘要：一：交互式shell命令 Scala有自己的交互式shell，前提是要安装scala解释器。 我们成功安装scala后，命令行输入scala，我们就会看到交互式shell，scala> 例如：scala>1+2 解释器会打印：res0:Int=3，当然res0这个结果还可以再次使用。 当然，学习一门 阅读全文
posted @ 2019-01-27 09:45 Coding_Now 阅读(179) 评论(0) 推荐(0)
Scala语言的简单介绍
摘要：1.Scala语言是一种“可伸展的语言”，为什么？因为它被设计成可以随着使用者的需求而扩展，从编写简单脚本到建立大型系统。 2.Scala语言是一种把面向对象和函数式编程理念加入静态类型语言的混合体。 3.Scala语言的特性：兼容性，简洁，高层抽象和高级的静态类型变化。 4.Scala不需要脱离j 阅读全文
posted @ 2019-01-27 09:05 Coding_Now 阅读(1326) 评论(0) 推荐(0)
SparkSQL On Hive和spark的内存分配问题
摘要：1.SparkSQL集成Hive，需将hive-site.xml复制到{SAPRK_HOME/conf}目录下，即可！！ a.将hive-site.xml复制到{SAPRK_HOME/conf}目录下； b.将hive-site.xml复制到所有Spark节点； c.将MySQL驱动包[mysql- 阅读全文
posted @ 2019-01-06 17:56 Coding_Now 阅读(1707) 评论(0) 推荐(0)
SparkSQL的执行讲解图
摘要： 阅读全文
posted @ 2019-01-05 15:50 Coding_Now 阅读(240) 评论(0) 推荐(0)
SparkSQL加载外部数据源和存储至外部数据源
摘要：可以加载好多种外部数据源的格式，例如：csv，text，json，parquet等。我们在这里讲解下json和parquet格式。 json： 代码： def main(args: Array[String]): Unit = { val spark = SparkSession.builder() 阅读全文
posted @ 2019-01-05 15:45 Coding_Now 阅读(674) 评论(0) 推荐(0)
SparkSQL的反射机制和自定义创建DataFrame
摘要：反射机制 1.RDD[Person] (case:反射机制) >DataFrameF[ROW] >DataSet[Person] RDD DF DS Person ["name","age","address"] {Person：("name","age","address")} Person [" 阅读全文
posted @ 2019-01-05 15:22 Coding_Now 阅读(748) 评论(0) 推荐(0)
SparkSQL的执行计划详解
摘要：一：首先将我们从文本中读取的数据映射到表也就是视图 eg: $>cat b.txt 1 ded 2 dsfre 3 sfs 4 fr $>val sc = spark.sparkContext #创建SparkContext $>val rdd = sc.textFile("file:///home 阅读全文
posted @ 2019-01-01 13:22 Coding_Now 阅读(9266) 评论(0) 推荐(2)
DataFrame映射表的形式
摘要：使用DF.createTempView("person")对数据集注册临时表 通过spark.sql(.....) 代码说明： df_rdd.createTempView("person") spark.sql("select * from person where name like '%0%'" 阅读全文
posted @ 2019-01-01 12:36 Coding_Now 阅读(613) 评论(0) 推荐(0)