happygril3

摘要： 节点与边的变换操作 def mapVertices[VD2](map: (VertexID, VD) => VD2): Graph[VD2, ED] def mapEdges[ED2](map: Edge[ED] => ED2): Graph[VD, ED2] def mapEdges[ED2](m 阅读全文

摘要： graph包含三个基本的类集合视图 val vertices: VertexRDD[VD] val edges: EdgeRDD[ED] val triplets: RDD[EdgeTriplet[VD, ED]]，即可理解为：RDD(srcId,srcAttr,dstId,dstAttr,attr 阅读全文

摘要： 1. GraphX的框架 1.1图存储模式 边分割（Edge-Cut）： 每个顶点都存储一次，但有的边会被打断分到两台机器上。 优点：节省存储空间； 缺点：对图进行基于边的计算时，对于一条两个顶点被分到不同机器上的边来说，要跨机器通信传输数据，内网通信流量大。 点分割（Vertex-Cut） 每条边 阅读全文

摘要： 使用场景 package graphx object case03 { def main(args: Array[String]): Unit = { //TODO 1.表示函数的返回类型 def double(x:Int):Int=x*2 //定义一个函数变量 var x:(Int)=>Int=d 阅读全文

摘要： 如果你想定义一个函数，而让它只接受和处理其参数定义域范围内的子集，对于这个参数范围外的参数则抛出异常，这样的函数就是偏函数（顾名思异就是这个函数只处理传入来的部分参数） package graphx object case02 { def main(args: Array[String]): Uni 阅读全文

摘要： package graphx import scala.util.Random object case01 { def main(args: Array[String]): Unit = { //TODO 简单匹配，值匹配： val booleans = List(true,false) for(b 阅读全文

摘要： 熵(entropy) 是表示随机变量不确定性的度量（纯度），如果信息的不确定性越大，熵的值也就越大 信息增益(information gain)：表示由于特征A使得对数据集D的分类的不确定性减少的程度。==》max 基尼指数：一个节点越“纯”，也就是说这个节点的样本越多属于同类，那么Gini指标越小 阅读全文

摘要： 通过正交变换将一组相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分。 将n维样本点转换为k维后，每一维上的样本方差都很大。 1.特征值和特征向量 A为n×n的方阵且有 其中λ为一标量，则称λ为向量v对应的特征值，也称v为特征值λ对应的特征向量。 2.对角矩阵 对角矩阵(diago 阅读全文

摘要： 为了尽可能正确分类训练样本，又可能造成分支过多，造成过拟合 剪枝：主动剪掉一些分支来降低过拟合的风险 预剪枝：提前终止某些分支的生长 后剪枝：生成一颗完全数，再回头剪枝 1. 预剪枝 每次生长一次，都会在验证集上做一次预估，看看效果有没有提升；如果有提升，就生长，；如果没有，就停止 （1）根据信息增 阅读全文

摘要： 1. 有效的括号 给定一个只包括 '('，')'，'{'，'}'，'['，']' 的字符串，判断字符串是否有效。 有效字符串需满足： 左括号必须用相同类型的右括号闭合。 左括号必须以正确的顺序闭合。 注意空字符串可被认为是有效字符串。 示例 1: 输入: "()"输出: true 示例 2: 输入: 阅读全文