摘要：
https://blog.csdn.net/qq_42189083/article/details/82177689 （1）第一次优化，on 字段准换成类型相同 （2）第二次优化，on 后面字段的缺失率很高（为空、字段长度为零、字段填充了非整数），关联字段为无效字段，则不需要关联 （3）虽然设置了左 阅读全文
posted @ 2020-10-15 15:56
hulifang
阅读(2188)
评论(0)
推荐(0)
摘要：
rdb:Redis会单独创建一个子进程来进行持久化，会先将数据写入到一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件，整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能，如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那么RDB方式要比AOF 阅读全文
posted @ 2020-09-17 16:45
hulifang
阅读(151)
评论(0)
推荐(0)
摘要：
https://blog.csdn.net/weixin_42003671/article/details/89927022 https://www.cnblogs.com/xibuhaohao/p/11732146.html 一、测试环境 1、MySQL表结构 2、hive表结构 二、普通增量导入 阅读全文
posted @ 2020-09-16 15:53
hulifang
阅读(205)
评论(0)
推荐(0)
摘要：
算法的时间复杂度： 度量一个程序（算法）执行时间的两种方式：（1）事后统计的方法（2）事前估算的方法 阅读全文
posted @ 2020-09-10 18:08
hulifang
阅读(120)
评论(0)
推荐(0)
摘要：
https://www.cnblogs.com/JasonCeng/p/12169233.html 阅读全文
posted @ 2020-09-10 18:04
hulifang
阅读(202)
评论(0)
推荐(0)
摘要：
1）集合 Collection存放单值类型数据 >List 有序，可重复【有序指存放顺序】 &ArrayList底层是数组 优点：查询效率高 缺点：增删效率低，涉及移位 &LinkedList底层是链表 优点：增删效率高，不需要移位，只需要改变节点的指向即可 缺点：查询效率低，查询集合中元素的时候， 阅读全文
posted @ 2020-09-10 18:03
hulifang
阅读(112)
评论(0)
推荐(0)
摘要：
1.第一步对输入的数据进行切片，每个分片分配一个map()任务，map（）对其中的数据进行计算，对每个数据用键值对的形式记录，然后输出到环形缓冲区（图中sort的位置） 2.map()中输出的数据在环形缓冲区内进行快排，每个环形缓冲区默认大小100M，当数据达到80M时（默认），把数据输出到磁盘上。 阅读全文
posted @ 2020-09-01 15:56
hulifang
阅读(113)
评论(0)
推荐(0)
摘要：
https://www.cnblogs.com/frankdeng/p/9310340.html 协处理器是HBase中一种高级组件，可以让用户在region所在的服务器上运行自定义的代码。与传统的RDBMS中的触发器和存储过程类似。 分为： observer：类似于触发器（RegionObserv 阅读全文
posted @ 2020-08-31 17:28
hulifang
阅读(146)
评论(0)
推荐(0)
摘要：
1.强引用：如果一个对象具有强引用，它就不会被垃圾回收器回收。即使当前内存空间不足，JVM也不会回收它，而是抛出 OutOfMemoryError 错误，使程序异常终止。如果想中断强引用和某个对象之间的关联，可以显式地将引用赋值为null，这样一来的话，JVM在合适的时间就会回收该对象 2.软引用： 阅读全文
posted @ 2020-08-25 15:19
hulifang
阅读(140)
评论(0)
推荐(0)
摘要：
1。redis的一下命令 默认有16个数据库 切换数据库：select 3【第三个3数据库】 查看数据库大小：DBSIZE keys * 查看数据库所有的key 清除当前数据库：flushdb 清除所有数据库的内容:flushall 是否存在：EXISTS name(判断name键是否存在) 设置过 阅读全文
posted @ 2020-08-21 16:02
hulifang
阅读(100)
评论(0)
推荐(0)
浙公网安备 33010602011771号