摘要：
1.从Scala中理解闭包 闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。 如下面这段匿名的函数： val multiplier = (i:Int) => i * 10 函数体内有一个变量 i，它作为函数的一个参数 阅读全文
摘要：
Spark 累加器与广播变量 一、简介 在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)： 累加器：用来对信息进行聚合，主要用于累计计数等场景； 广播变量：主要用于在节点间高效分发大对象。 二、累加器 这里先看一个 阅读全文
摘要：
1.RDD缓存机制 cache, persist Spark 速度非常快的一个原因是 RDD 支持缓存。成功缓存后，如果之后的操作使用到了该数据集，则直接从缓存中获取。虽然缓存也有丢失的风险，但是由于 RDD 之间的依赖关系，如果某个分区的缓存数据丢失，只需要重新计算该分区即可。 涉及到的算子：pe 阅读全文
摘要：
1.搜索插入位置 https://leetcode-cn.com/problems/search-insert-position/ class Solution { public int searchInsert(int[] nums, int target) { int left=0,right= 阅读全文
摘要：
0. 前言 简单的题目，但是没有练习过或者背过，可能反而也写不出来，在面试中往往是在短时间内就写完，你没有时间画图，没有时间推演，这些都只能在脑子里快速完成，有时候拼了很久，觉得还是没有感觉，即使写出来了，在过后的一周到一个月照样会忘记，bug free地写出来还是很费力，作为对此深有体会的，或许跟 阅读全文
摘要：
作为一名从副业中已赚取几个月工资的韭菜，显然对这类题目很有搞头，但是实际中往往不知道的是股票的未来价格，所以需要预测，而你的实盘实际上也会反过来影响股票，所以没人能完整预测股票的走势，那些从回溯中取的最大值的算法，就是下面的几种，有必要掌握一下，假若某一天你穿越回去，你任选一种算法，那么你就可以从1 阅读全文
摘要：
1.回溯问题简介 回溯问题,就是决策树的遍历过程,回溯问题需要有下面几个问题考虑 路径:已经做出的选择,即从根节点到当前节点的路径 选择列表:当前情况下还可以做哪些选择,即继续往下遍历节点,可以走哪些路 结束条件:到达决策树的叶子节点,或者不满足条件停止 2.回溯问题框架 明白回溯问题的几个问题后, 阅读全文
摘要：
1.五个基本Properties A list of partitions A function for computing each split A list of dependencies on other RDDs Optionally, a Partitioner for key-value 阅读全文
摘要：
1.背景 大数据开发的测试环境，很多人不以为然，其实重复的打包，上传，测试虽然每次时间大概也就几分钟，但是积累起了往往会花费很多的时间，但是一个完整的测试环境在生产环境下往往难形成闭环，抛开堡垒机权限不说，hadoop，hive，spark等服务端的权限也会难倒一群英雄好汉，主要是太繁琐了，测试环境 阅读全文
摘要：
立个坑，教程后续补上，当然这不是最重要的，如果你仅仅想有个环境可以测试，只需要下面 三步 1.git clone https://github.com/hulichao/docker-bigdata ` 2.安装docker和docker-compose, 然后cd docker-bigdata & 阅读全文