摘要：
防止超时掉线的代码： 阅读全文
posted @ 2017-11-11 00:17
bonelee
阅读(968)
评论(0)
推荐(0)
摘要：
总结：1. map会将每一条输入映射为一个新对象。{苹果，梨子}.map(去皮） = {去皮苹果，去皮梨子} 其中： “去皮”函数的类型为：A => B 2.flatMap包含两个操作：会将每一个输入对象输入映射为一个新集合，然后把这些新集合连成一个大集合。 {苹果，梨子}.flatMap(切碎) 阅读全文
posted @ 2017-11-10 14:30
bonelee
阅读(15779)
评论(0)
推荐(1)
摘要：
一个向量(1.0,0.0,3.0)它有2中表示的方法 密集：[1.0,0.0,3.0] 其和一般的数组无异 稀疏：(3,[0,2],[1.0,3.0]) 其表示的含义(向量大小，序号，值) 序号从0开始 本地向量和矩阵 本地向量（Local Vector）存储在单台机器上，索引采用0开始的整型表示， 阅读全文
posted @ 2017-11-10 13:08
bonelee
阅读(3191)
评论(1)
推荐(0)
摘要：
转自：http://www.cnblogs.com/canyangfeixue/p/7227998.html 对于威胁检测算法使用神经网络训练有用！！！TODO待实验 结果如下： 阅读全文
posted @ 2017-11-10 11:46
bonelee
阅读(1546)
评论(2)
推荐(0)
摘要：
ES 5.3以后出的新功能。测试demo如下： 下载ES 5.5版本，然后分别本机创建2个实例，配置如下： 再创建一个实例用于跨集群搜索，配置如下： 然后写入测试数据 es_data.json： 插入一条数据到9200机器： 然后写入测试数据 es_data2.json： 同理再插入一条数据到920 阅读全文
posted @ 2017-11-10 10:58
bonelee
阅读(3532)
评论(2)
推荐(0)
摘要：
管道里的主要概念 MLlib提供标准的接口来使联合多个算法到单个的管道或者工作流，管道的概念源于scikit-learn项目。 1.数据框：机器学习接口使用来自Spark SQL的数据框形式数据作为数据集，它可以处理多种数据类型。比如，一个数据框可以有不同的列存储文本、特征向量、标签值和预测值。 2 阅读全文
posted @ 2017-11-09 16:53
bonelee
阅读(2969)
评论(2)
推荐(0)
摘要：
from sklearn.feature_extraction.text import CountVectorizer texts=["dog cat fish","dog cat cat","fish bird", 'bird'] cv = CountVectorizer() cv_fit=cv.fit_transform(texts) print(cv.get_feature_names... 阅读全文
posted @ 2017-11-09 11:57
bonelee
阅读(1391)
评论(0)
推荐(0)
摘要：
样本示意，为kdd99数据源： 代码： 结果： 阅读全文
posted @ 2017-11-09 11:21
bonelee
阅读(4374)
评论(0)
推荐(0)
摘要：
注意：仅仅是数值型字段才可以，如果是字符类型字段则不能直接搞定 需要使用pandas get_dummies搞定 例如： Using the get_dummies will create a new column for every unique string in a certain colum 阅读全文
posted @ 2017-11-08 20:06
bonelee
阅读(4247)
评论(1)
推荐(0)
摘要：
Scala： import org.apache.spark.ml.linalg.Vectors val data = Seq( (7, Vectors.dense(0.0, 0.0, 18.0, 1.0), 1.0), (8, Vectors.dense(0.0, 1.0, 12.0, 0.0), 阅读全文
posted @ 2017-11-08 17:54
bonelee
阅读(7249)
评论(0)
推荐(0)
浙公网安备 33010602011771号