bonelee - 博客园

2017年7月27日

摘要： HDFS块内行存储的例子 HDFS块内列存储的例子 HDFS块内RCFile方式存储的例子阅读全文

posted @ 2017-07-27 12:13 bonelee 阅读(3772) 评论(0) 推荐(0)

mahout demo——本质上是基于Hadoop的分步式算法实现，比如多节点的数据合并，数据排序，网路通信的效率，节点宕机重算，数据分步式存储

摘要：摘自：http://blog.fens.me/mahout-recommendation-api/ 测试程序：RecommenderTest.java 测试数据集：item.csv 测试程序：org.conan.mymahout.recommendation.job.RecommenderTest. 阅读全文

posted @ 2017-07-27 10:04 bonelee 阅读(253) 评论(1) 推荐(0)

2017年7月26日

模型树——就是回归树的分段常数预测修改为线性回归对于非线性回归有较好的预测效果

摘要：说完了树回归，再简单的提下模型树，因为树回归每个节点是一些特征和特征值，选取的原则是根据特征方差最小。如果把叶子节点换成分段线性函数，那么就变成了模型树，如（图六）所示：（图六）（图六）中明显是两个直线组成，以X坐标（0.0-0.3）和（0.3-1.0）分成的两个线段。如果我们用两个叶子节点保存阅读全文

posted @ 2017-07-26 20:30 bonelee 阅读(1701) 评论(0) 推荐(0)

python 从bulkblacklist信誉查询网站提交查询

摘要： import urllib import urllib2 #import webbrowser import re import socket def is_domain_in_black_list(domain, ip): try_time = 3 url = "http://www.bulkblacklist.com/" for i in rang... 阅读全文

posted @ 2017-07-26 10:55 bonelee 阅读(418) 评论(0) 推荐(0)

2017年7月25日

Linux与JVM的内存关系分析

摘要： Linux与JVM的内存关系分析 Linux与JVM的内存关系分析原文出处：美团技术团队引言在一些物理内存为8g的服务器上，主要运行一个Java服务，系统内存分配如下：Java服务的JVM堆大小设置为6g，一个监控进程占用大约600m，Linux自身使用大约800m。从表面上，物理内存应该是阅读全文

posted @ 2017-07-25 17:33 bonelee 阅读(2477) 评论(2) 推荐(0)

malloc和new出来的地址都是虚拟地址你就说内存管理单元怎么可能让你直接操作硬件内存地址！

摘要： malloc的实现与物理内存自然是无关的，内核为每个进程维护一张页表，页表存储进程空间内每页的虚拟地址，页表项中有的虚拟内存页对应着某个物理内存页面，也有的虚拟内存页没有实际的物理页面对应。无论malloc通过sbrk还是mmap实现，分配到的内存只是虚拟内存，而且只是虚拟内存的页号，代表这块空间进阅读全文

posted @ 2017-07-25 17:27 bonelee 阅读(3096) 评论(0) 推荐(0)

elasticsearch源码分析之search模块(server端)

摘要： elasticsearch源码分析之search模块(server端) 继续接着上一篇的来说啊，当client端将search的请求发送到某一个node之后，剩下的事情就是server端来处理了，具体包括哪些步骤呢？过程一、首先我们来看看接收地方其实就是在org.elasticsearch.ac 阅读全文

posted @ 2017-07-25 11:17 bonelee 阅读(5314) 评论(0) 推荐(0)

elasticsearch源码分析之search模块(client端)

摘要： elasticsearch源码分析之search模块(client端) 注意，我这里所说的都是通过rest api来做的搜索，所以对于接收到请求的节点，我姑且将之称之为client端，其主要的功能我们可以简单地概括为将的数据请求发送到node，然后在对返回的结果做处理并返回给调用方，话虽如此，但是过阅读全文

posted @ 2017-07-25 11:00 bonelee 阅读(2489) 评论(0) 推荐(0)

2017年7月24日

Fuzzy C Means 算法及其 Python 实现——写得很清楚，见原文

摘要： Fuzzy C Means 算法及其 Python 实现转自：http://note4code.com/2015/04/14/fuzzy-c-means-%E7%AE%97%E6%B3%95%E5%8F%8A%E5%85%B6-python-%E5%AE%9E%E7%8E%B0/ 1. 算法向算阅读全文

posted @ 2017-07-24 16:46 bonelee 阅读(4974) 评论(1) 推荐(0)

spark Bisecting k-means（二分K均值算法）

摘要： Bisecting k-means（二分K均值算法）二分k均值（bisecting k-means）是一种层次聚类方法，算法的主要思想是：首先将所有点作为一个簇，然后将该簇一分为二。之后选择能最大程度降低聚类代价函数（也就是误差平方和）的簇划分为两个簇。以此进行下去，直到簇的数目等于用户给定的数目阅读全文

posted @ 2017-07-24 16:06 bonelee 阅读(2658) 评论(0) 推荐(0)

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告