将者，智、信、仁、勇、严也。

摘要： 给定数据集 x(1),x(2),..,x(m),我们假使数据集是正常的,我们希望知道新的数据 xtest 是不 是异常的,即这个测试数据不属于该组数据的几率如何。我们所构建的模型应该能根据该测 试数据的位置告诉我们其属于一组数据的可能性 p(x)。 高斯分布 高斯分布,也称为正态分布。回顾高斯分布的 阅读全文

摘要： https://wenku.baidu.com/view/ee9d9800cdbff121dd36a32d7375a417866fc131.html 使用kmeans算法做流量异常检测 明确指出数据预处理需要规范化 例如网络流量异常检测方法，对网络流量样本数据进行归一化和均值化处理，得到网络流量样本 阅读全文

摘要： kmeans demo 摘自：http://spark.apache.org/docs/latest/api/python/pyspark.mllib.html#module-pyspark.mllib.feature pyspark.mllib.feature module Python pack 阅读全文

摘要： For (much) more power and flexibility, use a dedicated spellchecking library like PyEnchant. There's a tutorial, or you could just dive straight in: P 阅读全文

摘要： 公用函数的放到了 common.py 文件中. 通过 --py-files 可以在pyspark中可以顺利导入: pyspark --py-files lib/common.py > import common OK 阅读全文

摘要： load方法： a=sc.textFile("feature/all.txt")a.collect() [u"('one', 1)", u"('two', 1)", u"('two', 1)", u"('three', 1)", u"('three', 1)", u"('three', 1)"] 阅读全文

摘要： 过滤了出现次数大于2的结果。 阅读全文

摘要： 查看spark是否有僵尸进程，有的话，先杀掉。可以使用下面命令yarn application -listyarn application -kill <jobid> 阅读全文

摘要： 话题 3: 基于深度学习的二进制恶意样本检测 分享主题：全球正在经历一场由科技驱动的数字化转型，传统技术已经不能适应病毒数量飞速增长的发展态势。而基于沙箱的检测方案无法满足 APT 攻击的检测需求，也受到多种反沙箱技术的干扰。在充分考察过各种技术方案的优劣后，瀚思科技开发出了基于深度学习的二进制病毒 阅读全文

摘要： lsof命令是什么？ 可以列出被进程所打开的文件的信息。被打开的文件可以是 1.普通的文件，2.目录 3.网络文件系统的文件，4.字符设备文件 5.(函数)共享库 6.管道，命名管道 7.符号链接 8.底层的socket字流，网络socket，unix域名socket 9.在linux里面，大部分的 阅读全文