摘要:DDL(Data Definition Languages)数据定义语言,常用关键字包括create、drop、alter等 DML(Data Manipulation Languages)数据操纵语句,常用的关键字包括insert、delete、update等 1.插入记录 DCL(Data Co 阅读全文
posted @ 2018-10-29 09:39 魏大大 阅读 (18) 评论 (0) 编辑
摘要:from urllib import request """ 使用代理 """ url = "http://httpbin.org/ip" #设置代理的服务器的ip和端口,以及协议类型 handler = request.ProxyHandler({"http":"121.232.194.71:9000"}) opener = request.build_opener(handler) r... 阅读全文
posted @ 2018-10-24 23:56 魏大大 阅读 (22) 评论 (0) 编辑
摘要:Spark是什么? Spark是一个用来实现快速而通用的集群计算的平台。扩展了广泛使用的MapReduce计算模型,而且高效地支持更多的计算模式,包括交互式查询和流处理。在处理大规模数据集的时候,速度是非常重要的。Spark的一个重要特点就是能够在内存中计算,因而更快。即使在磁盘上进行的复杂计算,S 阅读全文
posted @ 2018-10-23 17:56 魏大大 阅读 (27) 评论 (0) 编辑
摘要:Apache spark2.1.0 编译 hadoop-2.6-cdh5.11.2 的对应版本 搞了两天,终于把spark编译成功了,把编译过程记录一下 编译失败的坑: 1)linux内存不足,maven编译过程中内存溢出 2)找不到cloudera仓库 3)报各种错误 考虑到maven下载可能会被 阅读全文
posted @ 2018-10-23 11:43 魏大大 阅读 (119) 评论 (0) 编辑
摘要:在Java中,如果要实现多线程,必须依靠一个线程的主体类(就好比主类的概念一样,表示的是一个线程的主类)。 但是这个线程的主体类在定义时也需要一些特殊的要求,即类需要继承Thread类或实现Runnable(Callable)接口来完成定义 多线程的实现 继承Thread类,实现多线程 实现Runn 阅读全文
posted @ 2018-10-01 22:17 魏大大 阅读 (32) 评论 (0) 编辑
摘要:Scala继承 要点: 1.扩展类 2.重写方法 3.类型检查和转换 4.受保护字段和方法 5.超类的构造 6.重写字段 7.匿名子类 8.抽象类 9.抽象字段 10.构造顺序和提取定义 11.Scala类继承关系 12.对象相等性 13.值类 阅读全文
posted @ 2018-09-30 16:09 魏大大 阅读 (14) 评论 (0) 编辑
摘要:Scala中的包和引入语句 要点: 1.包 2.作用域规则 3.串联式包语句 4.文件顶部标记法 5.包对象 6.包可见性 7.引入 8.任何地方都可以声明引入 9.重命名和隐藏方法 10.隐式导入 练习 阅读全文
posted @ 2018-09-30 16:03 魏大大 阅读 (23) 评论 (0) 编辑
摘要:对象 要点: 1.单例对象 2.伴生对象 3.扩展类或特质的对象 4.apply对象 5.应用程序对象 6.枚举 练习 阅读全文
posted @ 2018-09-30 15:55 魏大大 阅读 (17) 评论 (0) 编辑
摘要:Scala类 要点: 1.简单类和无参方法 2.带getter和setter的属性 3.只带getter的属性 4.对象私有字段 5.Bean属性 6.辅助构造器 7.主构造器 8.嵌套类 练习 阅读全文
posted @ 2018-09-30 14:45 魏大大 阅读 (17) 评论 (0) 编辑
摘要:映射和元组 1.构造映射 2.获取映射中的值 3.更新映射中的值 4.迭代映射 5.已排序映射 6.与Java的互操作 7.元组 8.拉链操作 练习 阅读全文
posted @ 2018-09-30 14:38 魏大大 阅读 (19) 评论 (0) 编辑