bonelee - 博客园

2017年11月2日

摘要： kmeans demo 摘自：http://spark.apache.org/docs/latest/api/python/pyspark.mllib.html#module-pyspark.mllib.feature pyspark.mllib.feature module Python pack 阅读全文

posted @ 2017-11-02 20:11 bonelee 阅读(2653) 评论(1) 推荐(0)

python判断一个单词是否为有效的英文单词？——三种方法

摘要： For (much) more power and flexibility, use a dedicated spellchecking library like PyEnchant. There's a tutorial, or you could just dive straight in: P 阅读全文

posted @ 2017-11-02 12:10 bonelee 阅读(18252) 评论(0) 推荐(1)

pyspark import 可以通过 --py-files

摘要：公用函数的放到了 common.py 文件中. 通过 --py-files 可以在pyspark中可以顺利导入: pyspark --py-files lib/common.py > import common OK 阅读全文

posted @ 2017-11-02 12:09 bonelee 阅读(2899) 评论(0) 推荐(0)

2017年11月1日

spark rdd saveAsTextFile保存为文件

摘要： load方法： a=sc.textFile("feature/all.txt")a.collect() [u"('one', 1)", u"('two', 1)", u"('two', 1)", u"('three', 1)", u"('three', 1)", u"('three', 1)"] 阅读全文

posted @ 2017-11-01 17:38 bonelee 阅读(11802) 评论(0) 推荐(0)

spark groupByKey 也是可以filter的

摘要：过滤了出现次数大于2的结果。阅读全文

posted @ 2017-11-01 09:34 bonelee 阅读(1088) 评论(0) 推荐(0)

2017年10月31日

查看spark是否有僵尸进程，有的话，先杀掉。可以使用下面命令

摘要：查看spark是否有僵尸进程，有的话，先杀掉。可以使用下面命令yarn application -listyarn application -kill <jobid> 阅读全文

posted @ 2017-10-31 19:22 bonelee 阅读(1722) 评论(0) 推荐(0)

2017年10月30日

基于深度学习的病毒检测技术无需沙箱环境，直接将样本文件转换为二维图片，进而应用改造后的卷积神经网络 Inception V4 进行训练和检测

摘要：话题 3: 基于深度学习的二进制恶意样本检测分享主题：全球正在经历一场由科技驱动的数字化转型，传统技术已经不能适应病毒数量飞速增长的发展态势。而基于沙箱的检测方案无法满足 APT 攻击的检测需求，也受到多种反沙箱技术的干扰。在充分考察过各种技术方案的优劣后，瀚思科技开发出了基于深度学习的二进制病毒阅读全文

posted @ 2017-10-30 09:50 bonelee 阅读(918) 评论(0) 推荐(0)

2017年10月26日

linux命令 — lsof 查看进程打开那些文件或者查看文件给那个进程使用

摘要： lsof命令是什么？可以列出被进程所打开的文件的信息。被打开的文件可以是 1.普通的文件，2.目录 3.网络文件系统的文件，4.字符设备文件 5.(函数)共享库 6.管道，命名管道 7.符号链接 8.底层的socket字流，网络socket，unix域名socket 9.在linux里面，大部分的阅读全文

posted @ 2017-10-26 10:17 bonelee 阅读(54187) 评论(0) 推荐(2)

2017年10月25日

通过DNS通道传输的交互式PowerShell脚本

摘要：摘自：http://www.freebuf.com/sectool/90616.html 欢迎来到一周PowerShell脚本的第五天，今天我们将讨论使用ICMP和DNS的交互式PowerShell脚本。通常情况下防火墙都不会主动过滤ICMP和DNS数据包，这就让我们可以使用它们。下面就让我们来看阅读全文

posted @ 2017-10-25 16:12 bonelee 阅读(1066) 评论(0) 推荐(0)

一种神经元探索系统方法及装置

摘要：发明背景与现有技术应用背景深度学习已经在图像分类检测、游戏等诸多领域取得了突破性的成绩。由于人工神经网络计算量大，训练时间长。因此，相关的硬件加速平台也在百花齐放，包括基于英伟达的GPU、谷歌的TPU、以及FPGA实现的神经网络硬件平台。神经网络的结构复杂多样、计算量大的特点，给硬件设计带来了巨大阅读全文

posted @ 2017-10-25 11:42 bonelee 阅读(537) 评论(0) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告