上一页 1 ··· 191 192 193 194 195 196 197 198 199 ··· 273 下一页
2017年11月9日
spark pipeline 例子
摘要： 管道里的主要概念 MLlib提供标准的接口来使联合多个算法到单个的管道或者工作流，管道的概念源于scikit-learn项目。 1.数据框：机器学习接口使用来自Spark SQL的数据框形式数据作为数据集，它可以处理多种数据类型。比如，一个数据框可以有不同的列存储文本、特征向量、标签值和预测值。 2 阅读全文
posted @ 2017-11-09 16:53 bonelee 阅读(2954) 评论(2) 推荐(0)
sklearn 词袋 CountVectorizer
摘要： from sklearn.feature_extraction.text import CountVectorizer texts=["dog cat fish","dog cat cat","fish bird", 'bird'] cv = CountVectorizer() cv_fit=cv.fit_transform(texts) print(cv.get_feature_names... 阅读全文
posted @ 2017-11-09 11:57 bonelee 阅读(1384) 评论(0) 推荐(0)
pandas dataframe 做机器学习训练数据=》直接使用iloc或者as_matrix即可
摘要： 样本示意，为kdd99数据源： 代码： 结果： 阅读全文
posted @ 2017-11-09 11:21 bonelee 阅读(4361) 评论(0) 推荐(0)
2017年11月8日
sklearn.preprocessing OneHotEncoder——仅仅是数值型字段才可以，如果是字符类型字段则不能直接搞定
摘要： 注意：仅仅是数值型字段才可以，如果是字符类型字段则不能直接搞定 需要使用pandas get_dummies搞定 例如： Using the get_dummies will create a new column for every unique string in a certain colum 阅读全文
posted @ 2017-11-08 20:06 bonelee 阅读(4226) 评论(1) 推荐(0)
spark 从RDD createDataFrame 的坑
摘要： Scala： import org.apache.spark.ml.linalg.Vectors val data = Seq( (7, Vectors.dense(0.0, 0.0, 18.0, 1.0), 1.0), (8, Vectors.dense(0.0, 1.0, 12.0, 0.0), 阅读全文
posted @ 2017-11-08 17:54 bonelee 阅读(7230) 评论(0) 推荐(0)
spark 针对决策树进行交叉验证
摘要： from pyspark import SparkContext, SQLContext from pyspark.ml import Pipeline from pyspark.ml.classification import DecisionTreeClassifier from pyspark.ml.feature import StringIndexer, VectorIndexer f... 阅读全文
posted @ 2017-11-08 14:20 bonelee 阅读(2422) 评论(4) 推荐(0)
【转】webshell检测——使用auditd进行system调用审计
摘要： 本文档将介绍：如何通过Linux审计系统auditd监测WebShell执行系统命令的行为。 测试环境：CentOS7.0_x64 auditd简介 Linux审计系统提供了一种跟踪系统上与安全相关的信息的方法。基于预先配置的规则，审核生成日志条目以记录尽可能多的关于系统上发生的事件信息。 audi 阅读全文
posted @ 2017-11-08 12:02 bonelee 阅读(2106) 评论(2) 推荐(0)
AI目前的根本问题——缺乏 自由意志，无法分辨真正的善恶
摘要： 另一位对AI表现出极大兴趣的演讲嘉宾，就是短篇科幻小说《折叠北京》的作者：郝景芳。 演讲一开始她就提到了测试AI的三个问题： 第一个测试题，如果哥伦布没有发现新大陆对中国哪个菜系影响最大？ 第二个测试题，她说没想到今天这么冷，她希望你如何回复它？ 第三个测试题，明年可以学英语，也可以学编程，你会选择 阅读全文
posted @ 2017-11-08 09:15 bonelee 阅读(548) 评论(0) 推荐(0)
杨子见歧路而哭之——有的路必须自己去走
摘要： “杨子见歧路而哭之”的例子：杨子看到有一只羊走失了，他走到了分叉的地方，他不知道羊在哪一条路上，这个时候他就不能够决定，觉得很悲伤，因为看起来唯一的方法，就是你必须先去走一条路，然后再走另外一条路。 阅读全文
posted @ 2017-11-08 09:11 bonelee 阅读(3335) 评论(0) 推荐(0)
2017年11月7日
使用isolation forest进行dns网络流量异常检测
摘要： 代码如下，测试发现，是否对输入数据进行归一化/标准化对于结果没有影响： 输出样例： 输入数据样例（已经提取了特征）： 参考：http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.IsolationForest.html#s 阅读全文
posted @ 2017-11-07 14:59 bonelee 阅读(2366) 评论(4) 推荐(1)
上一页 1 ··· 191 192 193 194 195 196 197 198 199 ··· 273 下一页