bonelee - 博客园

2017年11月10日

摘要：一个向量(1.0,0.0,3.0)它有2中表示的方法密集：[1.0,0.0,3.0] 其和一般的数组无异稀疏：(3,[0,2],[1.0,3.0]) 其表示的含义(向量大小，序号，值) 序号从0开始本地向量和矩阵本地向量（Local Vector）存储在单台机器上，索引采用0开始的整型表示，阅读全文

posted @ 2017-11-10 13:08 bonelee 阅读(3196) 评论(1) 推荐(0)

spark scala word2vec 和多层分类感知器在情感分析中的实际应用

摘要：转自：http://www.cnblogs.com/canyangfeixue/p/7227998.html 对于威胁检测算法使用神经网络训练有用！！！TODO待实验结果如下：阅读全文

posted @ 2017-11-10 11:46 bonelee 阅读(1549) 评论(2) 推荐(0)

ES cross cluster search跨集群查询

摘要： ES 5.3以后出的新功能。测试demo如下：下载ES 5.5版本，然后分别本机创建2个实例，配置如下：再创建一个实例用于跨集群搜索，配置如下：然后写入测试数据 es_data.json：插入一条数据到9200机器：然后写入测试数据 es_data2.json：同理再插入一条数据到920 阅读全文

posted @ 2017-11-10 10:58 bonelee 阅读(3538) 评论(2) 推荐(0)

2017年11月9日

spark pipeline 例子

摘要：管道里的主要概念 MLlib提供标准的接口来使联合多个算法到单个的管道或者工作流，管道的概念源于scikit-learn项目。 1.数据框：机器学习接口使用来自Spark SQL的数据框形式数据作为数据集，它可以处理多种数据类型。比如，一个数据框可以有不同的列存储文本、特征向量、标签值和预测值。 2 阅读全文

posted @ 2017-11-09 16:53 bonelee 阅读(2975) 评论(2) 推荐(0)

sklearn 词袋 CountVectorizer

摘要： from sklearn.feature_extraction.text import CountVectorizer texts=["dog cat fish","dog cat cat","fish bird", 'bird'] cv = CountVectorizer() cv_fit=cv.fit_transform(texts) print(cv.get_feature_names... 阅读全文

posted @ 2017-11-09 11:57 bonelee 阅读(1394) 评论(0) 推荐(0)

pandas dataframe 做机器学习训练数据=》直接使用iloc或者as_matrix即可

摘要：样本示意，为kdd99数据源：代码：结果：阅读全文

posted @ 2017-11-09 11:21 bonelee 阅读(4378) 评论(0) 推荐(0)

2017年11月8日

sklearn.preprocessing OneHotEncoder——仅仅是数值型字段才可以，如果是字符类型字段则不能直接搞定

摘要：注意：仅仅是数值型字段才可以，如果是字符类型字段则不能直接搞定需要使用pandas get_dummies搞定例如： Using the get_dummies will create a new column for every unique string in a certain colum 阅读全文

posted @ 2017-11-08 20:06 bonelee 阅读(4250) 评论(1) 推荐(0)

spark 从RDD createDataFrame 的坑

摘要： Scala： import org.apache.spark.ml.linalg.Vectors val data = Seq( (7, Vectors.dense(0.0, 0.0, 18.0, 1.0), 1.0), (8, Vectors.dense(0.0, 1.0, 12.0, 0.0), 阅读全文

posted @ 2017-11-08 17:54 bonelee 阅读(7253) 评论(0) 推荐(0)

spark 针对决策树进行交叉验证

摘要： from pyspark import SparkContext, SQLContext from pyspark.ml import Pipeline from pyspark.ml.classification import DecisionTreeClassifier from pyspark.ml.feature import StringIndexer, VectorIndexer f... 阅读全文

posted @ 2017-11-08 14:20 bonelee 阅读(2439) 评论(4) 推荐(0)

【转】webshell检测——使用auditd进行system调用审计

摘要：本文档将介绍：如何通过Linux审计系统auditd监测WebShell执行系统命令的行为。测试环境：CentOS7.0_x64 auditd简介 Linux审计系统提供了一种跟踪系统上与安全相关的信息的方法。基于预先配置的规则，审核生成日志条目以记录尽可能多的关于系统上发生的事件信息。 audi 阅读全文

posted @ 2017-11-08 12:02 bonelee 阅读(2180) 评论(2) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告