月影舞华

摘要： 一开始想用动态规划做，但是发现有可能有环，这样需要做许多额外的处理工作，所以使用dijkstra求单元最短路。 建图使用可交换的优惠物品做有向图，如A需要 B加上一个优惠价格valueB来交换，那么就连接一条B到A的有向边，权值为valueB。探险家设置为0点，对每个物品都有一个有向边，权值为物品的 阅读全文

摘要： 很久没接触ACM题偶尔看到了做一道。 原题的详见POJ-2479。 此题看起来最简单的想法肯定是枚举S1,t1,s2,t2。显然的，这种枚举方法是不可行的。那么就需要一些其他的方式。 初看我们知道了t1<s2这条信息，也就是说，如果我们把数据源拆成两份进行二分，那么我们可以将枚举的复杂度缩小到原来的 阅读全文

摘要： 第一次看源码还是Spark 1.02。这次看新源码发现调度方式有了一些新的特征，在这里随便写一下。 不变的是，master还是接收Appclient和worker的消息，并且在接收RegisterApplication等消息后会执行一遍schedule()。schedule()依旧会先找到空闲的wo 阅读全文

摘要： 此文旨在对spark storage模块进行分析，整理自己所看所得，等以后再整理。 ok，首先看看SparkContext中sparkEnv相关代码： 1 private[spark] def createSparkEnv( 2 conf: SparkConf, 3 isLocal: Boolean 阅读全文