摘要：
DDL（Data Definition Languages）数据定义语言，常用关键字包括create、drop、alter等 DML（Data Manipulation Languages）数据操纵语句，常用的关键字包括insert、delete、update等 1.插入记录 DCL（Data Co 阅读全文
posted @ 2018-10-29 09:39
魏大大
阅读(266)
评论(0)
推荐(0)
摘要：
from urllib import request """ 使用代理 """ url = "http://httpbin.org/ip" #设置代理的服务器的ip和端口，以及协议类型 handler = request.ProxyHandler({"http":"121.232.194.71:9000"}) opener = request.build_opener(handler) r... 阅读全文
posted @ 2018-10-24 23:56
魏大大
阅读(148)
评论(0)
推荐(0)
摘要：
Spark是什么？ Spark是一个用来实现快速而通用的集群计算的平台。扩展了广泛使用的MapReduce计算模型，而且高效地支持更多的计算模式，包括交互式查询和流处理。在处理大规模数据集的时候，速度是非常重要的。Spark的一个重要特点就是能够在内存中计算，因而更快。即使在磁盘上进行的复杂计算，S 阅读全文
posted @ 2018-10-23 17:56
魏大大
阅读(272)
评论(0)
推荐(0)
摘要：
Apache spark2.1.0 编译 hadoop-2.6-cdh5.11.2 的对应版本 搞了两天，终于把spark编译成功了，把编译过程记录一下 编译失败的坑： 1）linux内存不足，maven编译过程中内存溢出 2）找不到cloudera仓库 3）报各种错误 考虑到maven下载可能会被 阅读全文
posted @ 2018-10-23 11:43
魏大大
阅读(399)
评论(0)
推荐(0)
摘要：
在Java中，如果要实现多线程，必须依靠一个线程的主体类（就好比主类的概念一样，表示的是一个线程的主类）。 但是这个线程的主体类在定义时也需要一些特殊的要求，即类需要继承Thread类或实现Runnable（Callable）接口来完成定义 多线程的实现 继承Thread类，实现多线程 实现Runn 阅读全文
posted @ 2018-10-01 22:17
魏大大
阅读(202)
评论(0)
推荐(0)
摘要：
Scala继承 要点： 1.扩展类 2.重写方法 3.类型检查和转换 4.受保护字段和方法 5.超类的构造 6.重写字段 7.匿名子类 8.抽象类 9.抽象字段 10.构造顺序和提取定义 11.Scala类继承关系 12.对象相等性 13.值类 阅读全文
posted @ 2018-09-30 16:09
魏大大
阅读(100)
评论(0)
推荐(0)
摘要：
Scala中的包和引入语句 要点： 1.包 2.作用域规则 3.串联式包语句 4.文件顶部标记法 5.包对象 6.包可见性 7.引入 8.任何地方都可以声明引入 9.重命名和隐藏方法 10.隐式导入 练习 阅读全文
posted @ 2018-09-30 16:03
魏大大
阅读(134)
评论(0)
推荐(0)
摘要：
对象 要点： 1.单例对象 2.伴生对象 3.扩展类或特质的对象 4.apply对象 5.应用程序对象 6.枚举 练习 阅读全文
posted @ 2018-09-30 15:55
魏大大
阅读(108)
评论(0)
推荐(0)
摘要：
Scala类 要点： 1.简单类和无参方法 2.带getter和setter的属性 3.只带getter的属性 4.对象私有字段 5.Bean属性 6.辅助构造器 7.主构造器 8.嵌套类 练习 阅读全文
posted @ 2018-09-30 14:45
魏大大
阅读(133)
评论(0)
推荐(0)
摘要：
映射和元组 1.构造映射 2.获取映射中的值 3.更新映射中的值 4.迭代映射 5.已排序映射 6.与Java的互操作 7.元组 8.拉链操作 练习 阅读全文
posted @ 2018-09-30 14:38
魏大大
阅读(140)
评论(0)
推荐(0)
浙公网安备 33010602011771号