大数据和AI躺过的坑

2016年9月21日

详细讲解Hadoop源码阅读工程（以hadoop-2.6.0-src.tar.gz和hadoop-2.6.0-cdh5.4.5-src.tar.gz为代表）

摘要：不多说，直接上干货！首先，说的是，本人到现在为止，已经玩过。对于，这样的软件，博友，可以去看我博客的相关博文。在此，不一一赘述！ Eclipse *版本 Eclipse *下载 Jdk 1.7*安装并配置 Jdk 1.8*安装并配置 JDK的windows和Linux版本之下载 Eclipse下阅读全文

posted @ 2016-09-21 10:55 大数据和AI躺过的坑阅读(4513) 评论(0) 推荐(0)

如何自己编译生成hadoop的eclipse插件，如hadoop-eclipse-plugin-2.6.0.jar

摘要：不多说，直接上干货！如何自己编译生成Eclipse插件，如hadoop-eclipse-plugin-2.6.0.jar 一、相关软件的安装和配置 (一)JDK的安装和配置 Jdk 1.7*安装并配置 (二)Eclipse的安装和配置 Eclipse的下载、安装和WordCount的初步使用（本地阅读全文

posted @ 2016-09-21 08:36 大数据和AI躺过的坑阅读(7899) 评论(0) 推荐(1)

如何在Maven官网下载历史版本

摘要：如何在Maven官网下载历史版本历史版本一般会隔一段时间，便找不到，官网会及时显示的是最新版本。不多说，直接进入。 https://archive.apache.org/dist/maven/binaries/ 成功在Maven官网里下载到历史版本！其它，依次类推。成功！欢迎大家，加入我的微阅读全文

posted @ 2016-09-21 08:31 大数据和AI躺过的坑阅读(11483) 评论(0) 推荐(1)

Hadoop概念学习系列之如何去找到历史版本的Hadoop发行包（三十四）

摘要：如何去找到历史版本的Hadoop发行包找到Hadoop历史版本这里我需要的Hadoop版本是2.0.3。打开hadoop的下载页面 http://www.apache.org/dyn/closer.cgi/hadoop/common/ 随便打开一个下载镜像，我们都找不到2.0.3这个版本。具体阅读全文

posted @ 2016-09-21 08:28 大数据和AI躺过的坑阅读(783) 评论(0) 推荐(0)

2016年9月20日

setting.xml配置文件

摘要：在此，简单的说下。 setting.xml 和 pom.xml这两各配置文件，到此是怎样？ setting.xml setting.xml，这个配文件，是全局的。比如你的是构建，web项目。我的是Hadoop和spark项目。那么。setting这个文件，你我都可以是一样的。因为它是全局的配置，阅读全文

posted @ 2016-09-20 20:12 大数据和AI躺过的坑阅读(8661) 评论(0) 推荐(0)

【转】maven核心，pom.xml详解

摘要：感谢如下博主: http://www.cnblogs.com/qq78292959/p/3711501.html maven核心，pom.xml详解什么是pom? pom作为项目对象模型。通过xml表示maven项目，使用pom.xml来实现。主要描述了项目：包括配置文件；开发者需要遵循的规则，缺阅读全文

posted @ 2016-09-20 16:59 大数据和AI躺过的坑阅读(1168) 评论(0) 推荐(0)

最近笔记本电脑开机启动正常，进入黑屏？

摘要：对于黑屏网上啊，有各种说法和解决办法，包括，我以前加内存条时，也出现的黑屏情况。具体见加内存条的一些事我觉得，先参考我下面的这个步骤去先解决，成功几率很大！首先，出现问题的电脑是联想笔记本电脑。个人觉得，其他品牌的电脑也是如此。作为参考！首先，开机是正常的，即已经进入了"正在启动wind 阅读全文

posted @ 2016-09-20 14:47 大数据和AI躺过的坑阅读(1272) 评论(0) 推荐(0)

Spark RDD概念学习系列之RDD的容错机制（十七）

摘要： RDD的容错机制 RDD实现了基于Lineage的容错机制。RDD的转换关系，构成了compute chain，可以把这个compute chain认为是RDD之间演化的Lineage。在部分计算结果丢失时，只需要根据这个Lineage重算即可。图1中，假如RDD2所在的计算作业先计算的话，那么计阅读全文

posted @ 2016-09-20 11:33 大数据和AI躺过的坑阅读(3155) 评论(0) 推荐(0)

Spark RDD概念学习系列之细谈RDD的弹性（十六）

摘要：细谈RDD的弹性所谓，弹性，是指在内存不够时可以与磁盘进行交换。弹性之一：自动的进行内存和磁盘数据存储的切换弹性之二：基于Lineage（血缘）的高效容错弹性之三：Task如果失败会自动进行特定次数的重试弹性之四：Stage如果失败会自动进行特定次数的重试，而且只会计算失败的分片弹性之五阅读全文

posted @ 2016-09-20 09:10 大数据和AI躺过的坑阅读(1227) 评论(0) 推荐(0)

2016年9月18日

Eclipse下Maven新建项目、自动打依赖jar包（包含普通项目和Web项目）

摘要：不多说，直接上干货！当我们无法从本地仓库找到需要的构件的时候，就会从远程仓库下载构件至本地仓库。一般地，对于每个人来说，书房只有一个，但外面的书店有很多，类似第，对于Maven来说，每个用户只有一个本地仓库，但可以配置访问很多远程仓库。 Eclipse *版本 Eclipse *下载强烈推荐书籍阅读全文

posted @ 2016-09-18 18:07 大数据和AI躺过的坑阅读(18000) 评论(2) 推荐(0)

大数据和人工智能躺过的坑

公告