摘要：
在此，简单的说下。 setting.xml 和 pom.xml这两各配置文件，到此是怎样？ setting.xml setting.xml，这个配文件，是全局的。 比如你的是构建，web项目。我的是Hadoop和spark项目。 那么。setting这个文件，你我都可以是一样的。因为它是全局的配置， 阅读全文
posted @ 2016-09-20 20:12
大数据和AI躺过的坑
阅读(8661)
评论(0)
推荐(0)
摘要：
感谢如下博主: http://www.cnblogs.com/qq78292959/p/3711501.html maven核心，pom.xml详解 什么是pom? pom作为项目对象模型。通过xml表示maven项目，使用pom.xml来实现。主要描述了项目：包括配置文件；开发者需要遵循的规则，缺 阅读全文
posted @ 2016-09-20 16:59
大数据和AI躺过的坑
阅读(1168)
评论(0)
推荐(0)
摘要：
对于黑屏 网上啊，有各种说法和解决办法，包括，我以前加内存条时，也出现的黑屏情况。具体见 加内存条的一些事 我觉得，先参考我下面的这个步骤去先解决，成功几率很大！ 首先，出现问题的电脑是联想笔记本电脑。个人觉得，其他品牌的电脑也是如此。 作为参考！ 首先，开机是正常的，即已经进入了"正在启动wind 阅读全文
posted @ 2016-09-20 14:47
大数据和AI躺过的坑
阅读(1272)
评论(0)
推荐(0)
摘要：
RDD的容错机制 RDD实现了基于Lineage的容错机制。RDD的转换关系，构成了compute chain，可以把这个compute chain认为是RDD之间演化的Lineage。在部分计算结果丢失时，只需要根据这个Lineage重算即可。 图1中，假如RDD2所在的计算作业先计算的话，那么计 阅读全文
posted @ 2016-09-20 11:33
大数据和AI躺过的坑
阅读(3156)
评论(0)
推荐(0)
摘要：
细谈RDD的弹性 所谓，弹性，是指在内存不够时可以与磁盘进行交换。 弹性之一：自动的进行内存和磁盘数据存储的切换 弹性之二：基于Lineage（血缘）的高效容错 弹性之三：Task如果失败会自动进行特定次数的重试 弹性之四：Stage如果失败会自动进行特定次数的重试，而且只会计算失败的分片 弹性之五 阅读全文
posted @ 2016-09-20 09:10
大数据和AI躺过的坑
阅读(1227)
评论(0)
推荐(0)
浙公网安备 33010602011771号