lyh225

摘要： 国内访问crate.io镜像满解决办法？ 参考：https://rsproxy.cn 阅读全文

摘要： 35 | join语句怎么优化？ MRR Multi-Range Read 优化，指的是尽量使用顺序读盘。 因为大多数的数据都是按照主键递增顺序插入得到的，所以我们可以认为，如果按照主键的递增顺序查询的话，对磁盘的读比较接近顺序读，能够提升读性能。 怎么是顺序读 根据索引将数据放入read_rnd_ 阅读全文

摘要： select * from t1 join t2 on t1.c = t1.c 这样的语句，mysql优化器会选择t_a或t_b作为驱动表, 使用straight_join来指定 左边的表为驱动表。如果字段c上有建立索引，MySQL会使用 Index Nested-Loop Join 策略处理joi 阅读全文

摘要： 我查这么多数据，会不会把数据库内存打爆？ 肯定的说，不会。因为MySQL是边读边发的。 InnoDB 的数据是保存在主键索引上的，所以全表扫描实际上是直接扫描表 t 的主键索引。这条查询语句由于没有其他的判断条件，所以查到的每一行都可以直接放到结果集里面，然后返回给客户端。那么，这个“结果集”存在哪 阅读全文

摘要： 内存不足问题 spark 默认分配的内存是4G，通过这个命令分配更大的内存空间给我们的任务 spark-shell --driver-memory 12g import org.apache.spark.sql.DataFrame val hdfs_path_apply: String = s"/m 阅读全文

摘要： 环境准备 目标环境是ubuntu 20，其实是windows下的子系统wsl里安装的。需要安装 pyspark 3.2.1 openjdk 15 注意pyspark 3.2.1 对应的最高版本jdk为openjdk15。安装也比较简单。 pyspark通过pip安装 pip3 install pys 阅读全文

摘要： 首先利用fileReader.readAsText(filePart) 默认通过utf8格式读取文件，如果文件中有非utf8字符会替换成�， 如果有�说明有非utf8字符。 windows下还有utf8 BOM格式的编码，这里通过判断文件头几个字符来判断文件是否是utf8 BOM编码。最后如果文件太 阅读全文

摘要： 因为开发需要，在本地虚拟机搭建了9个节点的redis集群，使用的版本是redis 3.2。最近由于几次强制关闭虚拟机，导致虚拟机里的redis 集群出现问题，查看节点日志，提示Unrecoverable error: corrupted cluster config file., 搜索网上资料，原来 阅读全文

摘要： 这些“kill 不掉”的情况，其实是因为发送 kill 命令的客户端，并没有强行停止目标线程的执行，而只是设置了个状态，并唤醒对应的线程。而被 kill 的线程，需要执行到判断状态的“埋点”，才会开始进入终止逻辑阶段。并且，终止逻辑本身也是需要耗费时间的。 kill 命令 MySQL 提供了 kil 阅读全文

摘要： 如此处理各种情况下的误删数据 delete 语句删除 用 delete 语句误删了数据行，可以用 Flashback 工具通过闪回把数据恢复回来。Flashback 恢复数据的原理，是修改 binlog 的内容，拿回原库重放。而能够使用这个方案的前提是，需要确保 binlog_format=row 阅读全文