12 2016 档案
摘要：多层感知器分类器（MLPC）是基于前馈人工神经网络(ANN)的分类器。 MLPC由多个节点层组成。 每个层完全连接到网络中的下一层。 输入层中的节点表示输入数据。 所有其他节点,通过输入与节点的权重w和偏置b的线性组合,并应用激活函数,将输入映射到输出。 对于具有K + 1层的MLPC，这可以以矩阵
阅读全文
摘要：导入包 导入源数据 逻辑回归建模 代码执行结果
阅读全文
摘要：随机森林是决策树的集合。 随机森林结合许多决策树，以减少过度拟合的风险。 spark.ml实现支持随机森林，使用连续和分类特征，做二分类和多分类以及回归。 导入包 导入源数据 随机森林建模 代码执行结果 随机森林模型调优
阅读全文
摘要：LogisticRegression简介
阅读全文
摘要：一个简单的Pipeline，用作estimator。Pipeline由有序列的stages组成，每个stage是一个Estimator或者一个Transformer。 当Pipeline调用fit，stages按顺序被执行。如果一个stage是一个Estimator，将调用Estimator的fit
阅读全文
摘要：Model selection模型选择 ML中的一个重要任务是模型选择，或使用数据为给定任务找到最佳的模型或参数。 这也称为调优。 可以对诸如Logistic回归的单独Estimators进行调整，或者对包括多个算法，特征和其他步骤的整个Pipeline进行调整。 用户可以一次调整整个Pipelin
阅读全文
摘要：命令格式：at[参数][时间] 请注意系统时间是UTC 命令功能：在一个指定的时间执行一个指定任务，只能执行一次。假如该时间已过去，那么就放在第二天执行。 /var/spool/mail/这里是任务执行后，反馈的邮件 /etc/at.allow 与 /etc/at.deny 设置at的使用者 开启a
阅读全文
摘要：du 显示每个文件和目录的磁盘使用空间 命令参数 -c或--total 除了显示个别目录或文件的大小外，同时也显示所有目录或文件的总和。 -s或--summarize 仅显示总计，只列出最后加总的值。 -h或--human-readable 以K，M，G为单位，提高信息的可读性。 df 显示指定磁盘
阅读全文
摘要：γ = 1/scale =1/0.902 α = exp(−(Intercept)γ)=exp(-(7.111)*γ) 画生存函数图 1. Surv Description 创建一个生存对象，通常用作模型公式中的响应变量。 参数匹配是此功能的特殊功能，请参阅下面的详细信息。 Argumentstim
阅读全文
摘要：Weibull distribution 或者 σ是未知的scale参数，独立于X的常量， σ>0 是服从某一分布的随机变量 残差(residuals)=
阅读全文
摘要：可以给时间，让上一条命令执行完毕后，并且退出 sleep 1 睡眠1秒sleep 1s 睡眠1秒sleep 1m 睡眠1分sleep 1h 睡眠1小时
阅读全文
摘要：vim subscript.sh vim main.sh $ sh main.shApacheSpark
阅读全文
摘要：全部可用的重定向命令列表 命令说明 command > file 将输出重定向到 file。 command > file 将输出以追加的方式重定向到 file。 n > file 将文件描述符为 n 的文件重定向到 file。 n >> file 将文件描述符为 n 的文件以追加的方式重定向到 file。 n >& m 将输出文件 m 和 n 合并。 n <& m 将...
阅读全文
摘要：while commanddo ...done c=0while [ $c -lt 5 ]do c='expr $c+1' echo $cdone
阅读全文
摘要：for循环一般格式为：for 变量 in 列表do command1 command2 ... commandNdone列表是一组值（数字、字符串等）组成的序列，每个值通过空格分隔。每循环一次，就将列表中的下一个值赋给变量。 in 列表是可选的，如果不用它，for 循环使用命令行的位置参数。 vim
阅读全文
摘要：case 值 in模式1) command1 command2 command3 ;;模式2） command1 command2 command3 ;;*) command1 command2 command3 ;;esac case工作方式如上所示。取值后面必须为关键字 in，每一模式必须以右括
阅读全文
摘要：语句1if [ expression ]then ...fi 语句2if [ expression ]then ...else ...fi 语句3if [ expression 1 ]then ...elif [ expression 2 ]then ...elif [ expression 3 ]
阅读全文
摘要：bash支持一维数组（不支持多维数组），并且没有限定数组的大小。数组元素的下标由0开始编号，下标可以是整数或算术表达式，其值应大于或等于0。定义数组数组元素用“空格”符号分割开array_name=(value0 value1 value2 value3)或者array_name=(value0va
阅读全文
摘要：双引号 双引号的优点：双引号里可以有变量双引号里可以出现转义字符 拼接字符串 获取字符串长度 提取子字符串 查找子字符串
阅读全文
摘要：算术运算符 expr 是一款表达式计算工具，使用它能完成表达式的求值操作。 a=10b=20 表达式和运算符之间要有空格，例如 2+2 是不对的，必须写成 2 + 2，这与我们熟悉的大多数编程语言不一样。 关系运算符 关系运算符只支持数字，不支持字符串，除非字符串的值是数字。 布尔运算符 字符串运算
阅读全文
摘要：1、定义目标 调研业务目标 评析环境 确定挖掘目标 制定计划2、数据理解 收集原始数据 探索数据 检验数据质量3、数据准备 数据选取 抽取建模数据 数据预处理4、建立模型 选择建模技术 建立模型 评估和改进模型 模型评价5、部署实施 制定实施计划 模型实施 项目总结和评价
阅读全文
摘要：vim test4.sh $ sh test4.shFirst is Spark; Second is Scala;###############First is Spark; \nSecond is Scala; Cmd is Filesystem 1K-blocks Used Available
阅读全文
摘要：变量名和等号之间不能有空格。同时，变量名的命名须遵循如下规则：首个字符必须为字母（a-z，A-Z）。中间不能有空格，可以使用下划线（_）。不能使用标点符号。不能使用bash里的关键字（可用help命令查看保留关键字）。 vim test2.sh $ sh test2.shShellLinuxspar
阅读全文
摘要：vim test.sh #!” 是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种Shell。 chmod +x test.sh #使脚本具有执行权限./test.sh #执行脚本,在当前目录找,第一行必须是#!/bin/bash/bin/sh test.sh #执行脚本,在当前
阅读全文
摘要：Shell本身是一个用C语言编写的程序。Shell既是一种命令语言，又是一种程序设计语言。作为命令语言，它交互式地解释和执行用户输入的命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高级语言中才具有的控制结构，包括循环和分支。 Shell调用了系统核心的大部分功能来执行程序、建立文件并
阅读全文
摘要：在spark.ml中，实现了加速失效时间（AFT）模型，这是一个用于检查数据的参数生存回归模型。 它描述了生存时间对数的模型，因此它通常被称为生存分析的对数线性模型。 不同于为相同目的设计的比例风险模型，AFT模型更容易并行化，因为每个实例独立地贡献于目标函数。 当在具有常量非零列的数据集上匹配AF
阅读全文
摘要：混合高斯模型GMM是指对样本的概率密度分布进行估计，而估计采用的模型（训练模型）是几个高斯模型的加权和（具体是几个要在模型训练前建立好）。每个高斯模型就代表了一个类（一个Cluster）。对样本中的数据分别在几个高斯模型上投影，就会分别得到在各个类上的概率。然后我们可以选取概率最大的类所为判决结果。
阅读全文
摘要：以下绘图以Weibull分布(韦伯分布、威布尔分布)为例 关于Weibull分布(韦伯分布、威布尔分布)，请参考本人博客http://www.cnblogs.com/wwxbi/p/6141501.html
阅读全文
摘要：log函数 从概率论和统计学角度看，Weibull Distribution是连续性的概率分布，其概率密度为： 其中，x是随机变量，λ＞0是比例参数（scale parameter），k＞0是形状参数（shape parameter）。显然，它的累积分布函数是扩展的指数分布函数，而且，Weibull
阅读全文
摘要：一、生存分析(survival analysis)的定义 生存分析：对一个或多个非负随机变量进行统计推断，研究生存现象和响应时间数据及其统计规律的一门学科。 生存分析：既考虑结果又考虑生存时间的一种统计方法，并可充分利用截尾数据所提供的不完全信息，对生存时间的分布特征进行描述，对影响生存时间的主要因
阅读全文
摘要：import org.apache.log4j.{ Level, Logger } Logger.getLogger("org").setLevel(Level.WARN) Logger.getLogger("org.apache.spark").setLevel(Level.WARN) Logge
阅读全文
摘要：VectorAssembler字段转换成特征向量 VectorIndexer自动识别分类的特征，并对它们进行索引 VectorSlicer向量切割 Bucketizer将连续数据离散化到指定的范围区间
阅读全文
摘要：data数据源，请参考我的博客http://www.cnblogs.com/wwxbi/p/6063613.html import org.apache.Spark.sql.DataFrameStatFunctions import org.apache.spark.sql.functions._
阅读全文
浙公网安备 33010602011771号