上一页 1 ··· 209 210 211 212 213 214 215 216 217 ··· 274 下一页
2017年7月6日
Spark中常用的算法
摘要： Spark中常用的算法： 3.2.1 分类算法 分类算法属于监督式学习，使用类标签已知的样本建立一个分类函数或分类模型，应用分类模型，能把数据库中的类标签未知的数据进行归类。分类在数据挖掘中是一项重要的任务，目前在商业上应用最多，常见的典型应用场景有流失预测、精确营销、客户获取、个性偏好等。MLli 阅读全文
posted @ 2017-07-06 12:11 bonelee 阅读(13007) 评论(0) 推荐(0)
为什么一些机器学习模型需要对数据进行归一化？——1）归一化后加快了梯度下降求最优解的速度；2）归一化有可能提高精度
摘要： 为什么一些机器学习模型需要对数据进行归一化？ http://www.cnblogs.com/LBSer/p/4440590.html 机器学习模型被互联网行业广泛应用，如排序（参见：排序学习实践）、推荐、反作弊、定位（参见：基于朴素贝叶斯的定位算法）等。一般做机器学习应用的时候大部分时间是花费在特征 阅读全文
posted @ 2017-07-06 09:46 bonelee 阅读(6062) 评论(0) 推荐(1)
2017年7月5日
聚类（三）FUZZY C-MEANS 模糊c-均值聚类算法——本质和逻辑回归类似啊
摘要： 摘自：http://ramsey16.net/%E8%81%9A%E7%B1%BB%EF%BC%88%E4%B8%89%EF%BC%89fuzzy-c-means/ 经典k-均值聚类算法的每一步迭代中，每一个样本点都被认为是完全属于某一类别。我们可以放松这个条件，假定每个样本xjxj模糊“隶属”于某 阅读全文
posted @ 2017-07-05 15:20 bonelee 阅读(3120) 评论(0) 推荐(0)
2017年7月3日
深入理解groupByKey、reduceByKey区别——本质就是一个local machine的reduce操作
摘要： 下面来看看groupByKey和reduceByKey的区别： 虽然两个函数都能得出正确的结果， 但reduceByKey函数更适合使用在大数据集上。 这是因为Spark知道它可以在每个分区移动数据之前将输出数据与一个共用的key结合。 借助下图可以理解在reduceByKey里发生了什么。 在数据 阅读全文
posted @ 2017-07-03 15:34 bonelee 阅读(15270) 评论(0) 推荐(0)
2017年6月30日
LDA解决的问题
摘要： 人类是怎么生成文档的呢？LDA的这三位作者在原始论文中给了一个简单的例子。比如假设事先给定了这几个主题：Arts、Budgets、Children、Education，然后通过学习训练，获取每个主题Topic对应的词语。如下图所示： 然后以一定的概率选取上述某个主题，再以一定的概率选取那个主题下的某 阅读全文
posted @ 2017-06-30 10:19 bonelee 阅读(1094) 评论(0) 推荐(0)
2017年6月29日
DNS报文格式（RFC1035）
摘要： 2、资源记录定义(RR definitions) 2.1 格式 后面分析报文的时候详细解释。 2.2 类型值(TYPE values) 类型主要用在资源记录中，注意下面的值是QTYPE的一个子集。 类型 值和含义 A 1 a host address NS 2 an authoritative na 阅读全文
posted @ 2017-06-29 11:57 bonelee 阅读(4545) 评论(1) 推荐(0)
2017年6月28日
PAC学习框架
摘要： PAC学习框架 转自：http://www.cnblogs.com/alphablox/p/5935826.html PAC学习框架是机器学习的基础。它主要用来回答以下几个问题： 什么问题是可以高效学习的？ 什么问题本质上就难以学习？ 需要多少实例才能完成学习？ 是否存在一个通用的学习模型？ PAC 阅读全文
posted @ 2017-06-28 19:50 bonelee 阅读(5744) 评论(0) 推荐(2)
DNS通道检测 国外学术界研究情况——研究方法：基于流量，使用机器学习分类算法居多，也有使用聚类算法的；此外使用域名zif low也有
摘要： http://www.ijrter.com/papers/volume-2/issue-4/dns-tunneling-detection.pdf 《DNS Tunneling Detection》In this paper we have presented a method of the DNS 阅读全文
posted @ 2017-06-28 16:41 bonelee 阅读(729) 评论(1) 推荐(0)
DNS通道检测 国内学术界研究情况——研究方法：基于特征或者流量，使用机器学习决策树分类算法居多
摘要： http://xuewen.cnki.net/DownloadArticle.aspx?filename=BMKJ201104017&dbtype=CJFD《浅析基于DNS协议的隐蔽通道及监测技术》DNS隐蔽通道监测主要采用特征匹配和流量异常检测这两种技术。3.1 特征匹配技术特 征 匹 配 技 术 阅读全文
posted @ 2017-06-28 16:38 bonelee 阅读(1558) 评论(0) 推荐(0)
DNS同时占用UDP和TCP端口53——传输数据超过512时候用tcp，DNS服务器可以配置仅支持UDP查询包
摘要： DNS同时占用UDP和TCP端口53是公认的，这种单个应用协议同时使用两种传输协议的情况在TCP/IP栈也算是个另类。但很少有人知道DNS分别在什么情况下使用这两种协议。 先简单介绍下TCP与UDP。 TCP是一种面向连接的协议，提供可靠的数据传输，一般服务质量要求比较高的情况，使用这个协议。UDP 阅读全文
posted @ 2017-06-28 12:07 bonelee 阅读(4814) 评论(0) 推荐(0)
上一页 1 ··· 209 210 211 212 213 214 215 216 217 ··· 274 下一页