下士闻道

摘要： Map-Reduce本身并不是算法；而是一种处理模式；因为在大数据分布式这种场景下，处理数据运算和单机版不同；需要协同多台机器，并行计算；于是有了map-reduce这种模式，map阶段是数据处理，在各个机器上面进行并行计算，可以算作是对于数据的一个过滤+计算过程，对于需要计算的数据进行收集（map 阅读全文

摘要： 朴素贝叶斯（Native Bayes），贝叶斯在现实使用中是怎么玩的？不是根据A|B的概率获得B|A的概率，在现实中的玩法是： 首先要明白贝叶斯是一种分类算法，因为是概率所以，他的应用领域其实是比较，那个分类的概率大就是哪个分类。 常场景是属性和结论，比如天气，风向，温度这些维度属性来推断是否适合打 阅读全文

摘要： 在图中，如何判断三角形？三角形在很多场景都有应用，比如社交网络中确定人和人之间的关系。 那么如果通过代码逻辑来实现呢？在数据结构之图中，区分三联体（有一端没有关联关系的三角形）和三角形是关键；两者之间的差别在于边的"度"，如果>=2，则可以断定点和边的关系是三角形。为什么度要>=2呢？因为如果一条边 阅读全文

摘要： Redis是单线程内部机制，那么怎么实现并发？在单机上部署多个Redis实例。 阅读全文

摘要： JVM为什么要区分为栈和堆？ 栈代表的操作逻辑存储，堆代表的是数据逻辑存储，这样来划分更加清晰； JVM的内存在宏观上面来讲分为私有内存和共享内存；所谓共享内存（堆）寓意就是各个私有的栈（每个线程私有）可以通过引用来共享堆中的对象。这样的设计可以让各个线程共享一个对象；节省空间，另外可以实现逻辑语义 阅读全文

摘要： 主要澄清之前对JVM内存模型的一些误区： JMV内存主要分为5块：方法区（Method Area），堆区（Heap），虚拟机栈（VM stack），本地方法栈（Native Method stack），程序计数器； 可以看到内存整体可以划分为共享区和私有区；共享区其实就是堆（年轻带，老年代）和方法区 阅读全文

摘要： BlockCache 首先要明白Block，在HBase里面存储的最小单元；在memstore向硬盘刷的时候，如果目标block的大小+size之后大于MAX_SIZE，将会新创建一个block来存储数据。 Block有四种类型：data，meta，index以及bloom；data就是存储数据的b 阅读全文

摘要： Excel方向键失效 Excel的方向键操作不再是sheet范围内转动；而是变成了整个sheet页面在跳动。 不只是Excel，viso也是如此。 这是因为你的Scroll Lock键被按下了；所致箭头被解读为页面滚轮在滑动；只需要把Scroll Lock键给关闭即可。我的笔记本数字键F6有个锁头图 阅读全文

摘要： 在spark里面，内存管理有两块组成，一部分是JVM的堆内内存（on-heap memory），这部分内存是通过spark dirver参数executor-memory以及spark.executor.memory来进行指定； 另外一部分是堆外内存（off-heap memory），堆外内存默认是 阅读全文

摘要： from sklearn.metrics import roc_curve fpr, tpr, thresholds=roc_curve(y_train_5, y_scores) fpr, tpr >>> (array([0.00000000e+00, 0.00000000e+00, 1.83220 阅读全文