摘要: 一.三大范式 1.第一范式(1NF)强调的是列的原子性,即表中每一列的字段属性都是唯一的,不可再分的。 2.第二范式(2NF)在满足1NF的基础上再满足依赖性的两个约束:一张表必须有一个主键;非主键类必须完全依赖于主键,而不能只依赖主键的一部分。 3.第三范式(3NF)在满足2NF的基础上再满足一个 阅读全文
posted @ 2023-08-15 23:57 功不唐捐-纯小喜 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 在SQL中,我们可以根据两张表的相同的列,对两张表进行join操作。但是在MapReduce中是没有join这个方法的,要合并两张表只能靠自己去实现。 需求: 看到这两张表, 第一点:可以发现共同的列名是pid,所以待会pid在KV对中是肯定作为K的; 第二点:order表对product表来说多对 阅读全文
posted @ 2022-05-31 21:42 功不唐捐-纯小喜 阅读(150) 评论(0) 推荐(0) 编辑
摘要: map输出KV后,会存储到环形缓冲区(内存)中,然后分继续分区、排序(区内),达到80%的阀值后,会溢出到磁盘中,一个mapTask可能会溢写为几个文件,如果有多个文件,那么在磁盘中还会按照相同的分区编号进行归并(如来自不同溢出文件的分区1和分区1进行归并);然后这时有一个可选流程,即对分区内的KV 阅读全文
posted @ 2022-05-22 10:40 功不唐捐-纯小喜 阅读(94) 评论(0) 推荐(0) 编辑
摘要: 1.当寻找一个类,点击进去,如果要倒退,可以按Ctrl+Alt+上下箭头 2.寻找jdk中的类或方法,双击shift。 阅读全文
posted @ 2022-05-21 23:37 功不唐捐-纯小喜 阅读(24) 评论(0) 推荐(0) 编辑
摘要: 1.生成APP-- python manage.py startapp app01(app01是APP名称) 2.添加注册 3.编写URL和视图函数 4.html页面导入 寻找路径:第一会先看根目录下的templates目录下;第二会按照顺序在app的目录下寻找 5.静态资源 静态资源必须放在sta 阅读全文
posted @ 2022-04-24 22:47 功不唐捐-纯小喜 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 1.新建数据库,并新建两个表,列名和csv文件的列名保持一致 2.如图 阅读全文
posted @ 2022-03-12 22:11 功不唐捐-纯小喜 阅读(288) 评论(0) 推荐(0) 编辑
摘要: 1.红色框里面可以选择已经安装的其他解释器,如anaconda的 2.这里就需要注意,如果通过pip下载了python包,那么就只能调用当前python的解释器,因为默认的下载路径都在该python目录下,而不能使用anaconda解释器。 阅读全文
posted @ 2022-03-12 16:38 功不唐捐-纯小喜 阅读(816) 评论(0) 推荐(0) 编辑
摘要: 1.由于在pycharm安装失败,所以只能在cmd下的Python环境下安装 注意:安装的版本要和python兼容,我的python是3.6,项目需要Django1.11(其他也行) 输入pip show django查看是否安装成功,并查看安装目录。 复制安装目录到bin下为添加环境变量做准备E: 阅读全文
posted @ 2022-03-12 16:17 功不唐捐-纯小喜 阅读(136) 评论(0) 推荐(0) 编辑
摘要: 1.简单的说https://zhuanlan.zhihu.com/p/36253130 shuffle就包括 从map执行后写入数据到内存的环形缓冲区开始,然后分区、排序、合并、combine规约(可选) 从reduce开始后,copy、排序 Map端流程: 环形内存缓存区:每个split数据交由一 阅读全文
posted @ 2022-03-02 23:41 功不唐捐-纯小喜 阅读(68) 评论(0) 推荐(0) 编辑
摘要: 可以先查看其它博主 https://blog.csdn.net/weixin_44318830/article/details/103061572 这是另一个博主的 https://blog.csdn.net/weixin_52346300/article/details/116021803?utm 阅读全文
posted @ 2022-03-02 22:04 功不唐捐-纯小喜 阅读(36) 评论(0) 推荐(0) 编辑