摘要：Spark GraphX宝刀出鞘，图文并茂研习图计算秘笈 大数据的概念与应用，正随着智能手机、平板电脑的快速流行而日渐普及，大数据中图的并行化处理一直是一个非常热门的话题。图计算正在被广泛地应用于社交网络、电子商务，地图等领域。对于图计算的两个核心问题：图存储模式和图计算模型，Spark Graph... 阅读全文

摘要：在VMWare 中准备第二、第三台运行Ubuntu系统的机器；在VMWare中构建第二、三台运行Ubuntu的机器和构建第一台机器完全一样，再次不在赘述。。与安装第一台Ubuntu机器不同的几点是：第一点：我们把第二、三台Ubuntu机器命名为了Slave1、Slave2，如下图所示：创建完的VMw... 阅读全文

摘要：执行文件拷贝操作拷贝后的“input”文件夹的内容如下所示：和我们的hadoop安装目录下的“conf”文件的内容是一样的。现在，在我们刚刚构建的伪分布式模式下运行wordcount程序：运行完成后我们查看一下输出的结果：部分统计结果如下：此时我们到达Hadoop的web控制台会发现我们提交并成功的... 阅读全文

摘要：第四步：配置Hadoop伪分布模式并运行Wordcount示例伪分布模式主要涉及一下的配置信息：修改Hadoop的核心配置文件core-site.xml，主要是配置HDFS的地址和端口号；修改Hadoop中HDFS的配置文件hdfs-site.xml，主要是配置replication;修改Hadoo... 阅读全文

摘要：Spark亚太研究院100期公益大讲堂 【第8期互动问答分享】 阅读全文

摘要：2.安装rsync我们的Ubuntu 12.10版本默认安装了rsync，我们可以通过以下命令来安装或者更新rsync3.安装hadoop，家林把下载下来的最新稳定版本的hadoop保存在电脑本地的以下位置：创建/usr/local/hadoop目录并把下载下来的Hadoop解压/usr/local... 阅读全文

摘要：安装sshHadoop是采用ssh进行通信的，此时我们要设置密码为空，即不需要密码登陆，这样免去每次通信时都输入秘密，安装如下：输入“Y”进行安装并等待自动安装完成。安装ssh完成后启动服务以下命令验证服务是否正常启动：可以看到ssh正常启动；设置免密码登录，生成私钥和公钥：在/root/.ssh中... 阅读全文

摘要：安装Java1.打开终端，建立新目录“/usr/lib/java”，如下图所示：2.把下载的JDK文件移到刚刚创建的“/usr/lib/java”中，如下图所示3.解压JDK文件，如下图所示：解压完成的文件目录如下图所示：4.修改环境变量:进入如下图所示的配置文件中：按下“i”进入INSERT模式，... 阅读全文

摘要：为了简化权限等问题，下面我们以root用户的身份登录和使用Ubuntu系统，而Ubuntu在默认情况下并没有开启root用户，这需要我们做如下设置：sudo -s进入 root用户权限模式vim/etc/lightdm/lightdm.conf[SeatDefaults]greeter-sessio... 阅读全文

摘要：“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂 【第7期互动问答分享】Q1:Spark中的RDD到底是什么？ RDD是Spark的核心抽象，可以把RDD看做“分布式函数编程语言”。 RDD有以下核心特征：A list of partitionsA function f... 阅读全文

摘要：启动虚拟机，正是开启Ubuntu系统的安装！点击“Power on this virtual machine”启动虚拟机，此时进入Ubuntu的安装等待一段时间后虚拟机自动进入如下界面：点击“Install Ubuntu”进入Ubuntu的安装点击“Continue”进入下一步：点击“Continu... 阅读全文

摘要：3.点击“Finish”完成虚拟系统的创建，如下图所示：点击我们创建的Ubuntu，如下所示点击“CD/DVD(IDE)”进入如下界面选择我们的Ubuntu的ISO的具体存放路径，选择好后如下图所示：点击“OK”完成设置；点击“Memory”，进入如下界面：此时把我们虚拟的内存设置为2G，如下所示：... 阅读全文

摘要：Unbuntu系统是我们开发Hadoop时最常用的操作系统，下面带领大家一步步完成Vmware虚拟机下Unbuntu系统的安装创建Vmware中的虚拟系统：我们选择的是“Typical”的方式，点击“Next”进入下一步：选择稍后安装操作系统，点击“Next”进入下一步：选择安装Linux系统的Ub... 阅读全文

摘要：【互动问答分享】第6期决胜云计算大数据时代Spark亚太研究院公益大讲堂 阅读全文

摘要：第二步：安装每个软件安装Vmware虚拟机点击“VMware-workstation-full-9.0.2-1031769”可执行文件，如下图所示：点击“Next”进入下一步： 我们选择“Custom”进入下一步；2.选择所有的功能，如下所示： 点击”Next”进入如下图所示界面： ... 阅读全文