摘要: 1.JOIN语句优化 尽可能减少join语句中的Nested Loop的循环总次数;"永远用小结果集驱动大的结果集"。 优先优化Nested Loop的内层循环。 保证join语句中被驱动表上join条件字段已经被索引。 当无法保证被驱动表的join条件字段被索引且内存资源充足的前提下,不要太吝惜J 阅读全文
posted @ 2021-02-19 14:54 学习大数据入门到放弃 阅读(86) 评论(0) 推荐(0)
摘要: 1.MySQL Query Optimizer(MySQL服务层自带的优化器) 1)MySQL中有专门负责优化SELECT语句的优化器模块,主要功能:通过计算分析系统中收集到的统计信息,为客户端 请求的Query提供他认为最优的执行计划(他认为最优的数据检索方式,但不见得是DBA认为最优的,这部分最 阅读全文
posted @ 2021-02-19 11:35 学习大数据入门到放弃 阅读(570) 评论(0) 推荐(0)
摘要: 1.性能下降SQL慢(执行时间长,等待时间长) a.查询语句写的烂 b.索引失效 单值索引 联合(复合)索引 c.关联查询太多join(设计缺陷或不得已的需求) d.服务器调优及各个参数设置(缓冲、线程数等) 2.常见通用的join查询 a.SQL执行顺序 手写 SELECT DISTINCT < 阅读全文
posted @ 2021-02-18 15:51 学习大数据入门到放弃 阅读(249) 评论(0) 推荐(0)
摘要: MyISAM和InnoDB 对比项 MyISAM InnoDB 主外键 不支持 支持 事务 不支持 支持 行表锁 表锁,即使操作一条记录也会锁住整个表,不适合高并发的操作 行锁,操作时只锁某一行,不对其它行有影响 适合高并发的操作 缓存 只缓存索引,不缓存真实数据 不仅缓存索引还要缓存真实数据,对内 阅读全文
posted @ 2021-02-18 11:07 学习大数据入门到放弃 阅读(55) 评论(0) 推荐(0)
摘要: 1.连接层 最上层是一些客户端和连接服务,包含本地sock通信和大多数基于客户端/服务端工具实现的类似于tcp/ip的通信。 主要完成一些类似于连接处理、授权认证及相关的安全方案。 在该层上引入了线程池的概念,为通过认证安全接入的客户端提供线程。 同样在该层上可以实现基于SSL的安全链接。服务器也会 阅读全文
posted @ 2021-02-18 10:51 学习大数据入门到放弃 阅读(65) 评论(0) 推荐(0)
摘要: 1. 二进制日志log-bin 主从复制 2.错误日志log-error 默认是关闭的,记录严重的警告和错误信息,每次启动和关闭的详细信息等 3.查询日志log 默认关闭,记录查询的sql语句,如果开启会减低mysql的整体性能,因为记录日志也是需要消耗系统资源 4.数据文件(由于不同版本存放的文件 阅读全文
posted @ 2021-02-18 10:29 学习大数据入门到放弃 阅读(650) 评论(0) 推荐(1)
摘要: java的线程是通过java.lang.Thread类来实现的。 在Java当中,线程通常都有五种状态,创建、就绪、运行、阻塞和死亡。 第一是创建状态。在生成线程对象,并没有调用该对象的start方法,这是线程处于创建状态。 第二是就绪状态。当调用了线程对象的start方法之后,该线程就进入了就绪状 阅读全文
posted @ 2021-02-04 15:12 学习大数据入门到放弃 阅读(1624) 评论(0) 推荐(0)
摘要: 1)一个数据块在DataNode上以文件形式存储在磁盘上,包括两个文件,一个是数据本身,一个是元数据包括数据块的长度,块数据的校验和,以及时间戳。 2)DataNode启动后向NameNode注册,通过后,周期性(1小时)的向NameNode上报所有的块信息。 3)心跳是每3秒一次,心跳返回结果带有 阅读全文
posted @ 2020-07-27 15:58 学习大数据入门到放弃 阅读(160) 评论(0) 推荐(0)
摘要: 1.写数据 1)客户端创建Distributed FileSystem模块 2)向NameNode请求上传文件,NameNode检查目标文件是否已存在,父目录是否存在。 3)NameNode返回是否可以上传。 4)客户端请求第一个 Block上传到哪个DataNode服务器节点上 5)NameNod 阅读全文
posted @ 2020-07-25 17:13 学习大数据入门到放弃 阅读(102) 评论(0) 推荐(0)
摘要: HDFS客户端环境准备 1.根据本机windows操作系统使用对应编译hadoop的jar包到非中文目录下(目录不能包含空格,如:D:\Develop\hadoop-2.7.2) 2.配置HADOOP_HOME环境变量 3.配置Path环境变量 4.使用idea创建一个Maven工程hdfsClie 阅读全文
posted @ 2020-07-23 16:08 学习大数据入门到放弃 阅读(608) 评论(0) 推荐(0)