bonelee - 博客园

2017年11月8日

摘要： from pyspark import SparkContext, SQLContext from pyspark.ml import Pipeline from pyspark.ml.classification import DecisionTreeClassifier from pyspark.ml.feature import StringIndexer, VectorIndexer f... 阅读全文

posted @ 2017-11-08 14:20 bonelee 阅读(2435) 评论(4) 推荐(0)

【转】webshell检测——使用auditd进行system调用审计

摘要：本文档将介绍：如何通过Linux审计系统auditd监测WebShell执行系统命令的行为。测试环境：CentOS7.0_x64 auditd简介 Linux审计系统提供了一种跟踪系统上与安全相关的信息的方法。基于预先配置的规则，审核生成日志条目以记录尽可能多的关于系统上发生的事件信息。 audi 阅读全文

posted @ 2017-11-08 12:02 bonelee 阅读(2175) 评论(2) 推荐(0)

AI目前的根本问题——缺乏自由意志，无法分辨真正的善恶

摘要：另一位对AI表现出极大兴趣的演讲嘉宾，就是短篇科幻小说《折叠北京》的作者：郝景芳。演讲一开始她就提到了测试AI的三个问题：第一个测试题，如果哥伦布没有发现新大陆对中国哪个菜系影响最大？第二个测试题，她说没想到今天这么冷，她希望你如何回复它？第三个测试题，明年可以学英语，也可以学编程，你会选择阅读全文

posted @ 2017-11-08 09:15 bonelee 阅读(574) 评论(0) 推荐(0)

杨子见歧路而哭之——有的路必须自己去走

摘要： “杨子见歧路而哭之”的例子：杨子看到有一只羊走失了，他走到了分叉的地方，他不知道羊在哪一条路上，这个时候他就不能够决定，觉得很悲伤，因为看起来唯一的方法，就是你必须先去走一条路，然后再走另外一条路。阅读全文

posted @ 2017-11-08 09:11 bonelee 阅读(3365) 评论(0) 推荐(0)

2017年11月7日

使用isolation forest进行dns网络流量异常检测

摘要：代码如下，测试发现，是否对输入数据进行归一化/标准化对于结果没有影响：输出样例：输入数据样例（已经提取了特征）：参考：http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.IsolationForest.html#s 阅读全文

posted @ 2017-11-07 14:59 bonelee 阅读(2392) 评论(4) 推荐(1)

2017年11月3日

查看suse系统版本

摘要： cat /etc/*-release OR lsb_release -d 阅读全文

posted @ 2017-11-03 16:38 bonelee 阅读(4420) 评论(0) 推荐(0)

pyspark.mllib.feature module

摘要： Feature Extraction Feature Extraction converts vague features in the raw data into concrete numbers for further analysis. In this section, we introduc 阅读全文

posted @ 2017-11-03 14:21 bonelee 阅读(975) 评论(0) 推荐(0)

LSTM 时间序列数据的异常检测

摘要：见 http://www.infoq.com/cn/articles/deep-learning-time-series-anomaly-detection 但是不够详细阅读全文

posted @ 2017-11-03 11:18 bonelee 阅读(9331) 评论(0) 推荐(0)

基于机器学习的web异常检测——基于HMM的状态序列建模，将原始数据转化为状态机表示，然后求解概率判断异常与否

摘要：基于机器学习的web异常检测 from: https://jaq.alibaba.com/community/art/show?articleid=746 Web防火墙是信息安全的第一道防线。随着网络技术的快速更新，新的黑客技术也层出不穷，为传统规则防火墙带来了挑战。传统web入侵检测技术通过维护规阅读全文

posted @ 2017-11-03 11:08 bonelee 阅读(3326) 评论(0) 推荐(0)

异常检测概览——孤立森林效果是最好的

摘要：用机器学习检测异常点击流用机器学习检测异常点击流本文内容是我学习ML时做的一个练手项目，描述应用机器学习的一般步骤。该项目的目标是从点击流数据中找出恶意用户的请求。点击流数据长下图这样子，包括请求时间、IP、平台等特征：该项目从开始做到阶段性完成，大致可分为两个阶段：算法选择和工程优化。算法选阅读全文

posted @ 2017-11-03 09:43 bonelee 阅读(34465) 评论(2) 推荐(3)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告