04 2020 档案
摘要：挖坑 https://databricks.com/blog
阅读全文
摘要：肯定是放在里面了，这样会大大减少join的数据量，增加效率
阅读全文
摘要：这两天也是被left join整蒙了 尽量使用通俗的解释 left join左边的字段不变，右边的字段在左边有的，就续在左边字段的右侧，如果左边没有，就显示为NULL
阅读全文
摘要：hive有时执行速度很慢，若hive on spark 的话，在sparkUI上可以清楚看到是否数据倾斜 优化方法： 1、增加reduce数目 hive.exec.reducers.bytes.per.reducer（每个reduce任务处理的数据量，默认为1000^3=1G） hive.exec.
阅读全文
摘要：除解决数据倾斜问题外，还要开启推测执行，寻找另一个executor执行task，哪个先完成就取哪个结果，再kill掉另一个。
阅读全文
摘要：一致性Consistency、可用性Availability、分区容错性Partition Tolerance 一个分布式系统最多满足两项 ZK/Hbase满足CP 双NN满足CA RDBMS满足CA
阅读全文
摘要：共性： 1、都不能被实例化 2、接口中实现类或者抽象类的子类只有实现了接口或抽象类中方法后才能实例化 区别： 1、接口只有方法的定义，JDK1.8后可以定义default方法体，抽象类可以有定义或实现。 2、实现和继承关键字不同，Java仅支持单继承但支持多实现 3、接口强调特定功能的实现，便于后序
阅读全文
摘要：COALESCE是一个函数， (expression_1, expression_2, ...,expression_n)依次参考各参数表达式，遇到非null值即停止并返回该值。如果所有的表达式都是空值，最终将返回一个空值。使用COALESCE在于大部分包含空值的表达式最终将返回空值。———————
阅读全文
摘要：如果要解决的问题里面需要很多快速查询，链表可能并不适合；如果遇到的问题中，数据的元素个数不确定，而且需要经常进行数据的添加和删除，那么链表会比较合适。而如果数据元素大小确定，删除插入的操作并不多，那么数组更适合。 链表通常的解法就是三指针、快慢指针和构建虚拟头。
阅读全文
摘要：什么时候要索引？ 1、表的主键、外键必须有索引 2、数据量超过300必须有索引 3、经常与其他表进行连接的表，在连接字段上建立索引 4、经常出现在where子句的字段，特别是大表字段，必须建索引 5、索引应建立在小字段上，对于大文本字段甚至超长字段，不要建索引 什么时候不需要索引？ 1、建立组合索引
阅读全文
摘要：from→on→join→where→group by→having→select→distinct→order by→limit
阅读全文
摘要：多次思考后，发现这样写fabric智能合约更严谨。。欢迎交流
阅读全文
摘要：在开发中我见的DF更多一点，其次DS再次RDD
阅读全文
摘要：Java堆内存分为年轻代和老年代，其中，年轻代分为Eden区和survival区，survival又分为fromSurvival和toSurvival。 首先第一个问题：为什么要有Survival区？因为如果没有Survival区，Eden每进行一次MinorGC，存活对象送到老年代，当老年代被填满
阅读全文
摘要：@Controller 使用它标记在一个类上，dispatcher会扫描使用该注解类的方法，并检测该方法是否使用了@RequestMapping注解，加上RequestMapping注解的方法才是处理请求的处理器 @Service 会在注解里指定一个name，会将service实现装配到Bean里
阅读全文
摘要：1、hive支持按行分割，按字段分割，如按‘，’分割： lateral view explode(split( , ',')) 2、hive不支持等值连接，即不支持where a.id = b.id的连接方式，hive使用join连接。 3、hive中没有not null，当字段为null时，使用\
阅读全文
摘要：这个很简单，首先我们考虑一个问题，为什么hashmap的容量为2的幂次方，查看源码即可发现在计算存储位置时，计算式为： (n-1)&hash(key) 容量n为2的幂次方，n-1的二进制会全为1，位运算时可以充分散列，避免不必要的哈希冲突。 所以扩容必须2倍就是为了维持容量始终为2的幂次方。
阅读全文
摘要：将hashmap和currenthashmap放一块进行比较，是因为二者的结构相差不多，只不过后者是线程安全的。 首先说hashmap,在jdk1.8之前，hashmap的存储结构是数组+链表的形式，可以理解为元素为链表的数组，当添加一个kv对，首先计算key的哈希值，用哈希值对数组长度按位与，以此
阅读全文
摘要：文章来源于https://hyperledger-fabric.readthedocs.io/en/release-2.0/ 私有数据集在v1.4中提出，一直使用的是隐私数据集方式，即建立一个隐私数据集，类似一个结构体，在配置文件中指定该集合为个别组织可见，即隐私数据集的哈希在指定用户间单独传输（即
阅读全文
摘要：以Innodb引擎为准。 简单的说，按照表空间、段、簇、页进行存储。 1、当新建一个表，就会在磁盘上新建一个表空间（逻辑概念），用于存储数据。 一个表空间中包含多个段，包括叶子节点段（数据段），非叶子节点段（索引段），回滚段（保证数据完整性）。在Innodb引擎中，数据以索引组织，即聚集索引，新建一
阅读全文
摘要：首先，我们应该考虑一个问题，数据库在磁盘中是怎样存储的？（答案写在下一篇文章中） b树、b+树、AVL树、红黑树的区别很大。虽然都可以提高搜索性能，但是作用方式不同。 通常文件和数据库都存储在磁盘，如果数据量大，不一定能全部加载到内存，因此使用b树，一次只加载少量节点数据。其次，b树是多路搜索树，M
阅读全文
摘要：Java在程序运行时产生Java类并编译成.class文件。
阅读全文
浙公网安备 33010602011771号