happygril3

摘要： hadoop102免密登录hadoop103 转自:https://zhuanlan.zhihu.com/p/45025702 1.hadoop102生成一对秘钥ssh-keygen -t rsa ① 输入生成密码的命令，ssh-keygen命令是生成秘钥，-t是加密类型，rsa是一种加密方式 ② 阅读全文

摘要： HDFS:NameNode DataNode SecondaryNameNodeYarn:ResourceManegement NodeManagement (1)修改文件 1.core-site.xml <configuration> <!--指定HDFS中NameNode地址--> <prope 阅读全文

摘要： 1.本地运行模式 -默认模式。 -不对配置文件进行修改。 -使用本地文件系统，而不是分布式文件系统。 -Hadoop不会启动NameNode、DataNode、JobTracker、TaskTracker等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 -用于对MapR 阅读全文

摘要： 1.VMware下CentOS虚拟机的创建方法 https://jingyan.baidu.com/article/ff42efa920bef3c19e22028c.html 2.虚拟机网络配置 1.防火墙关闭service iptables stop //服务关闭chkconfig iptable 阅读全文

摘要： 1.大数据生态系统 2 大数据部门结构 3 Hadoop入门教程 Hadoop是Apache开源组织的一个分布式计算开源框架，用java语言实现开源软件框架，实现在大量计算机组成的集群中对海量数据进行分布式计算。 Hadoop框架中最核心设计就是：HDFS和MapReduce，HDFS实现存储，而M 阅读全文

摘要： （1）SparkContext SparkContext是Spark中Driver程序的一部分，向资源管理器cluster manager（可以是mesos、yarn、standalone）申请spark应用所需的资源executor，资源管理器在各个worker上分配一定的executor。 当我 阅读全文

摘要： def aggregateMessages[Msg: ClassTag]( sendMsg: EdgeContext[VD, ED, Msg] => Unit, mergeMsg: (Msg, Msg) => Msg, tripletFields: TripletFields = TripletFi 阅读全文

摘要： 方式一 package graphx import org.apache.log4j.{Level, Logger} import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.graphx._ import o 阅读全文

摘要： 1. subgraph： 返回的对象是一个图，图中包含着的顶点和边分别要满足vpred和epred两个函数。 def subgraph( epred: EdgeTriplet[VD, ED] => Boolean = (x => true), vpred: (VertexId, VD) => Boo 阅读全文

摘要： joinvertices: graph1.joinVertices(graph2)((id2, VD1, data2) = > VD2) 这里的id2是graph2的点， data2是graph2的属性，这样写就会用新属性VD2覆盖老属性VD1outerjoinvertices： 这个操作其实跟上面 阅读全文