摘要:决定在博客园上记录自己的课程学习笔记、论文阅读总结、以及个人生活所见所感。 机器学习: 1. 李宏毅老师:http://speech.ee.ntu.edu.tw/~tlkagk/courses.html 诙谐幽默、深入浅出 2. 徐亦达老师:https://github.com/roboticcam 阅读全文
posted @ 2019-07-10 09:36 王朝君BITer 阅读(435) 评论(0) 推荐(0) 编辑
摘要:hdfs文件读写报错: AccessControlException: Permission denied: user=root, access=WRITE, inode="/user/chaojunwang":chaojunwang:supergroup:drwxr-xr-x 【解决方法】 1. 阅读全文
posted @ 2020-07-11 19:06 王朝君BITer 阅读(34) 评论(0) 推荐(0) 编辑
摘要:【教程1】https://blog.csdn.net/shiyutianming/article/details/99946797 + 【教程2】http://dblab.xmu.edu.cn/blog/1689-2/ 两个对照着理解一下就行了,apache-spark可以不用homebrew安装, 阅读全文
posted @ 2020-07-10 22:02 王朝君BITer 阅读(59) 评论(0) 推荐(0) 编辑
摘要:RDD提供了一个抽象的数据架构,我们不必担心底层数据的分布式特性,只需将具体的应用逻辑表达为一系列转换处理,不同RDD之间的转换操作形成依赖关系,可以实现管道化,从而避免了中间结果的存储,大大降低了数据复制、磁盘IO和序列化开销。 一个RDD就是一个分布式对象集合,本质上是一个只读的分区记录集合,每 阅读全文
posted @ 2020-07-10 17:29 王朝君BITer 阅读(28) 评论(0) 推荐(0) 编辑
摘要:Spark运行架构包括: (1)集群资源管理器(Cluster Manager) (2)运行作业任务的工作节点(Worker Node) (3)每个应用的任务控制节点(Driver)和每个工作节点上负责具体任务的执行进程(Executor)。 其中,集群资源管理器可以是Spark自带的资源管理器,也 阅读全文
posted @ 2020-07-10 15:18 王朝君BITer 阅读(34) 评论(0) 推荐(0) 编辑
摘要:#函数 /* 存储过程:可以有0个或多个返回,适合批量插入、批量更新 函数:有且仅有一个返回,适合处理数据后返回一个结果 */ #一、创建语法 /* create function 函数名(参数列表) returns 返回类型 begin 函数体 end 参数列表: 参数名 参数类型 */ use 阅读全文
posted @ 2020-07-07 16:56 王朝君BITer 阅读(34) 评论(0) 推荐(0) 编辑
摘要:#存储过程 /* 一组预先编译好的sql语句集合,理解成批处理语句 好处: 1、提高代码重用性 2、简化操作 3、减少了编译次数并减少了和数据库服务器的连接次数,提高了效率 */ #一、创建 /* create procedure 存储过程名(参数列表) begin 一组合法的sql语句 end 注 阅读全文
posted @ 2020-07-07 16:39 王朝君BITer 阅读(21) 评论(0) 推荐(0) 编辑
摘要:#变量 /* 系统变量: 全局变量 会话变量 自定义变量: 用户变量 局部变量 */ # 一、系统变量 #由系统提供,属于服务器层面 #1、查看所有的系统变量 show global variables; #会话变量 show session variables; #2、查看满足条件的部分系统变量名 阅读全文
posted @ 2020-07-07 16:37 王朝君BITer 阅读(19) 评论(0) 推荐(0) 编辑
摘要:#视图 /* 含义:虚拟表,和普通表一样使用。通过表动态生成的数据 只保存了sql逻辑,不保存查询结果 应用场景: 1、多个地方用到同样的查询结果 2、该查询结果使用的sql语句较为复杂 */ USE students; show tables; #案例:查询姓张的学生名和专业名 select st 阅读全文
posted @ 2020-07-07 16:36 王朝君BITer 阅读(10) 评论(0) 推荐(0) 编辑
摘要:#TCL /* 事务控制语言 事务:一个或一组sql语句组成一个执行单元,每条sql语句相互依赖 这个执行单元要么全部执行、要么全部失败后回滚 案例:转账 事务的acid属性 1.原子性:事务时一个不可分割的工作单位 2.一致性:事务必须使数据库从一个一致性状态转换为另一个一致性状态 3.隔离性:一 阅读全文
posted @ 2020-07-07 16:35 王朝君BITer 阅读(26) 评论(0) 推荐(0) 编辑
摘要:# 标识列 /* 自增长列 可以不用手动的插入值,系统提供默认的序列值 1、标识列必须和 key 搭配使用,比如主键、唯一键、外键 2、一个表至多一个标识列 3、标识列的类型只能是数值型 4、标识列可以设置步长 */ USE books; #一、创建表时设置标识列 CREATE TABLE IF N 阅读全文
posted @ 2020-07-07 16:33 王朝君BITer 阅读(21) 评论(0) 推荐(0) 编辑