会员
周边
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
hugechuanqi
博客园
首页
新随笔
联系
管理
订阅
随笔分类 -
大数据
与大数据相关资料
3.9 标准化,让运营数据落入相同的范围
摘要:参考:《Python数据分析和运营化处理》 数据标准化是一种数据预处理操作,通过处理不同规模和量纲的数据,使其缩放到相同的数据区间,例如[0, 1],或[ 1, 1],减少了因为数据规模和分布差异的不同造成对模型的影响。避免“大数吃小数”现象。 |标准化方法|数学公式|优点|缺点|区间| |: :|
阅读全文
posted @
2018-10-23 21:56
hugechuanqi
阅读(477)
评论(0)
推荐(0)
2.3 数据预处理
摘要:参考:《数据挖掘导论》,《Introduction to Data Mining》 [TOC] 数据预处理的内容包括: (1)聚类 (2)抽样 (3)维归约 (4)特征子集选择 (5)特征创建 (6)离散化和二元化 (7)变量变换 每个项目分为两种方式: 1. 选择分析所需要的数据对象和属性; 2.
阅读全文
posted @
2018-10-23 21:46
hugechuanqi
阅读(771)
评论(0)
推荐(0)
论文:基于数据挖掘的网络入侵检测关键技术研究-郭春
摘要:[TOC] 1、文章主要工作: 1.1 设计了一种适用于入侵检测的特征提取方法。(降维)DSFE:Distance sum based feature extraction method; 提出了一种 基于簇中心距离和 的特征提取方法:利用数据集中各数据样本与簇中心的距离和关系,将原始特征向量从高维
阅读全文
posted @
2018-09-24 22:49
hugechuanqi
阅读(1087)
评论(0)
推荐(0)
KDD Cup 99网络入侵检测数据的分析
摘要:"看论文" 该数据集是从一个模拟的美国空军局域网上采集来的 9 个星期的网络连接数据, 分成具有标识的训练数据和未加标识的测试数据。测试数据和训练数据有着不同的概率分布, 测试数据包含了一些未出现在训练数据中的攻击类型, 这使得入侵检测更具有现实性。 在训练集中包含了1种正常的标识类型 normal
阅读全文
posted @
2018-09-24 22:48
hugechuanqi
阅读(15328)
评论(0)
推荐(1)
Xpath做数据解析
摘要:xpath是一个路径表达式, "xpath学习" (1)xpath节点 在XPath中,有七种类型的节点:元素,属性,文本,命名空间,处理指令,注释以及文档节点;XML文档是被作为节点树来对待的。树的根被称为文档节点或者根结点 (2)xpath语法 xpath使用路径表达式来选取XML文档中的节点或
阅读全文
posted @
2018-09-08 17:33
hugechuanqi
阅读(315)
评论(0)
推荐(0)
总结:开放透明的环境对于大数据团队的重要性
摘要:"来源" 现在的互联网公司,做数据处理和分析都会涉及到hadoop平台。如果企业要想基于新的平台进行创新却显得十分困难;虽然数据增多了,创新的可能性也增加了,但是进行数据处理的步骤却变得更加复杂,例如,采集、开发、挖掘、运维等等。可以从以下几个角度进行分析: (1)从平台的角度讲,由于新平台导致企业
阅读全文
posted @
2018-09-08 17:21
hugechuanqi
阅读(429)
评论(0)
推荐(0)
公告