摘要: Apache Hive https://hive.apache.org/ Apache Hive 是一个数据仓库基础设施,构建在 Hadoop 上,用于数据的查询和分析。使用 Java 语言开发,开源在Github: https://github.com/apache/hive。 由于 Hive 构 阅读全文
posted @ 2025-08-03 22:21 vonlinee 阅读(182) 评论(0) 推荐(0)
摘要: 环境准备 MySQL 8.0.26(linux版本) 本文用到的数据库表参见:https://blog.csdn.net/qq_40926260/article/details/142445464 EXPLAIN 参考:https://dev.mysql.com/doc/refman/8.4/en/ 阅读全文
posted @ 2025-08-03 22:03 vonlinee 阅读(164) 评论(0) 推荐(0)
摘要: @目录EXPLAIN ANALYZE是什么Iterator输出内容解读EXPLAIN ANALYZE和EXPLAIN FORMAT=TREE的区别单个 Iterator 内容解读案例分析案例1 文件排序案例2 简单的JOIN查询 参考资料:https://hackmysql.com/book-2/ 阅读全文
posted @ 2025-08-03 22:02 vonlinee 阅读(44) 评论(0) 推荐(0)
摘要: 目录索引数据结构B树和B+树B树和B+树对比聚集索引和非聚集索引基数和选择性索引维护顺序插入和随机插入为什么预留空间索引构建过程页的合并拆分 索引数据结构 https://dev.mysql.com/doc/refman/8.4/en/innodb-physical-structure.html 除 阅读全文
posted @ 2025-08-03 22:02 vonlinee 阅读(25) 评论(0) 推荐(0)
摘要: Spark SQL Spark SQL 是 Spark 生态系统中用于处理结构化数据的模块。它通过将 SQL 查询与 Spark 的分布式计算能力结合,提供了高效的数据处理方式。Spark SQL 支持两种主要的数据抽象:DataFrame 和 Dataset,并允许用户通过 SQL 或编程 API 阅读全文
posted @ 2025-08-03 21:56 vonlinee 阅读(7) 评论(0) 推荐(0)
摘要: 目录行大小限制行溢出行格式REDUNDANTCOMPACTDYNAMICCOMPRESSED指定行格式查看行格式 表的行格式决定了其行的物理存储方式,反过来又会影响查询和DML操作的性能。随着单个磁盘Page中可以容纳更多的行,查询和索引查找可以更快地工作,缓冲池中所需的缓存更少,写入更新值所需的I 阅读全文
posted @ 2025-08-03 21:56 vonlinee 阅读(21) 评论(0) 推荐(0)
摘要: ThreadLocal java.lang.ThreadLocal 是 Java 中的一种用于实现线程局部变量的工具,它允许每个线程都有自己的独立变量副本。这在多线程环境中非常有用,尤其是在需要避免共享状态的情况下。 基本使用 适用场景: 适用于需要为每个线程维护独立状态的场景,例如数据库连接、用户 阅读全文
posted @ 2025-08-03 07:54 vonlinee 阅读(69) 评论(0) 推荐(0)
摘要: 数据分区 例如,当从本地文件系统加载一个文本文件到Spark时,文件的内容会被拆分成多个分区,这些分区会被均匀地分配给集群中的节点。可能有多个分区最终落在同一个节点上。所有这些分区的总和构成了你的RDD,这也是弹性分布式数据集中分布式一词的由来。图4.1展示了将文本文件的行加载到五节点集群中的RDD 阅读全文
posted @ 2025-08-01 00:18 vonlinee 阅读(51) 评论(0) 推荐(0)
摘要: 下载安装 参考官网:https://www.scala-lang.org/ JDK兼容性 https://docs.scala-lang.org.cn/overviews/jdk-compatibility/overview.html Scala REPL Scala REPL是和JShell差不多 阅读全文
posted @ 2025-07-30 21:30 vonlinee 阅读(19) 评论(0) 推荐(0)
摘要: Nano 第一行是在声明nano的版本和文件名,最下面的三行,分别是文件的状态(New File)与两行命令说明。 命令说明行白色的部分就是快捷键,后面的则是该快捷键的功能。指数符号(^)代表的是键盘的[ctrl]按键 下面来介绍比较重要的快捷键: [Ctrl]-G:取得在线帮助(help)。 [C 阅读全文
posted @ 2025-07-29 21:29 vonlinee 阅读(9) 评论(0) 推荐(0)