摘要：DFS 序 1问题 https://loj.ac/p/144 解法一 BFS+DFS 用了DFS，BFS来实现了，看了测试数据2,5都是很大的数据，正确性对的，但是内存超了，这个题肯定还有更好的解法。 package main import ( "bufio" "fmt" "os" "strconv 阅读全文

摘要：在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，Spark还是为 阅读全文

摘要：​ ​ 最近在学习Hadoop和Spark，了解大数据的同学肯定都知道相关的技术都用到了 MapReduce这个东西，由于本人之前是做Android开发的，没实际接触过MapReduce这个东西，一开始完全搞不懂MapReduce到底是啥，但在学习过程中总是会反复提及MapReduce。好吧，那就深 阅读全文