Mr.Yan

摘要： spring boot、mybatis集成druid数据库连接池，实现mysql cluster HA负载均衡访问 1.原理实现介绍 本质来说使用连接池是为了节省创建、关闭数据库连接的资源消耗，从而提升访问的性能。底层还是JDBC的调用，jdbc访问多主mysql有提供loadbalace的形式： 阅读全文

摘要： 语句使用：jdbc:mysql:loadbalance://[host1][:port],[host2][:port][,[host3][:port]]...[/[database]] » [?propertyName1=propertyValue1[&propertyName2=propertyV 阅读全文

摘要： 对比三种引擎的实现： hash存储引擎：哈希表持久化的实现，可以快速支持增删改查等随机操作，且时间复杂度为o(1)，但是不支持顺序读取扫描，对应的存储系统为k-v存储系统的实现。 b树存储引擎是b树的持久化实现，不仅支持单条记录的增删改查操作，还支持顺序扫描，对应的存储系统就是mysql。 lsm树 阅读全文

摘要： 一. 红黑树在java8中主要运用于hashmap的hash冲突，treemap的实现上 二. 红黑树的由来： 2-3树： 2-3树是二叉查找树的变种，树中的2和3代表两种节点，以下表示为2-节点和3-节点。 2-节点即普通节点：包含一个元素，两条子链接。 3-节点则是扩充版，包含2个元素和三条链接 阅读全文

摘要： 5.21 一面（电话）30min 1.自我介绍 2.项目介绍 3.hbase RS和region有什么区别 4.hbase写数据的流程 5.RS挂掉以后有什么影响，数据会怎么恢复 6.Hlog是如何恢复数据的，具体的流程 7.spark的shuffle和MR的shuffle有什么区别？ 8.spar 阅读全文

摘要： 1. 文本向量化特征的不足 在将文本分词并向量化后，我们可以得到词汇表中每个词在各个文本中形成的词向量，比如在文本挖掘预处理之向量化与Hash Trick这篇文章中，我们将下面4个短文本做了词频统计： corpus=["I come to China to travel", "This is a c 阅读全文

摘要： 1.线性回归原理 2.损失函数，目标函数，代价函数 3.线性回归的评估指标 4. 优化方法(梯度下降法、牛顿法、拟牛顿法等) 参考： https://www.jianshu.com/p/80984b205c84 https://blog.csdn.net/absent1353/article/det 阅读全文

摘要： 下载安装snappy库 If you didn't install snappy under /usr or /usr/local, you need to specify the location by --with-snappy as follows. Step2 : 下载安装snzip命令 Y 阅读全文

摘要： Hregion.doMiniBatchMutation 内部实现 1.获取相关的锁，由于HBase要确保行一级的原子性，所以获取锁的时候获取的是整个rowkey的锁而不是单个cell的锁；也只有当至少获取一个锁的时候，这个方法才会继续，否则直接返回。 2.更新cell中的时间戳(timestamp) 阅读全文

摘要： Phoenix二级索引建立源码 Phoenix二级索引建立在hbase的coprocess功能，建立索引的时候使用是 二级索引建立过程，索引rowkey的构建是一个数据流，不停在后面追加，最后生成最终的rowkey形式 public byte[] buildRowKey(ValueGetter va 阅读全文