上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 18 下一页
2016年9月27日
WordCount示例深度学习MapReduce过程（1）
摘要： 我们都安装完Hadoop之后，按照一些案例先要跑一个WourdCount程序，来测试Hadoop安装是否成功。在终端中用命令创建一个文件夹，简单的向两个文件中各写入一段话，然后运行Hadoop，WourdCount自带WourdCount程序指令，就可以输出写入的那句话各个不同单词的个数。但是这不是 阅读全文
posted @ 2016-09-27 16:51 夕月一弯 阅读(798) 评论(0) 推荐(0)
Hadoop学习笔记：MapReduce框架详解
摘要： 开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技 阅读全文
posted @ 2016-09-27 16:48 夕月一弯 阅读(583) 评论(0) 推荐(0)
2016年8月20日
Locality Sensitive Hash 局部敏感哈希
摘要： Locality Sensitive Hash是一种常见的用于处理高维向量的索引办法。与其它基于Tree的数据结构，诸如KD-Tree、SR-Tree相比，它较好地克服了Curse of Dimension，能够将KNN的时间复杂度缩减到sub-linear。LSH多被用于文本、多媒体（图像、音频） 阅读全文
posted @ 2016-08-20 17:47 夕月一弯 阅读(397) 评论(0) 推荐(0)
Hash表算法
摘要： 出处：http://blog.csdn.net/v_JULY_v 第一部分：Top K 算法详解问题描述百度面试题： 搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。 假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复 阅读全文
posted @ 2016-08-20 16:28 夕月一弯 阅读(775) 评论(0) 推荐(0)
MapReduce的模式、算法和用例
摘要： 英文原文：《MapReduce Patterns, Algorithms, and Use Cases》 https://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ 在这篇文章里总结了几种网上或者论文中常见的MapReduc 阅读全文
posted @ 2016-08-20 15:56 夕月一弯 阅读(3307) 评论(0) 推荐(0)
教你如何迅速秒杀掉：99%的海量数据处理面试题
摘要： 前言 一般而言，标题含有“秒杀”，“99%”，“史上最全/最强”等词汇的往往都脱不了哗众取宠之嫌，但进一步来讲，如果读者读罢此文，却无任何收获，那么，我也甘愿背负这样的罪名 :-)，同时，此文可以看做是对这篇文章：十道海量数据处理面试题与十个方法大总结的一般抽象性总结。 毕竟受文章和理论之限，本文将 阅读全文
posted @ 2016-08-20 15:37 夕月一弯 阅读(249) 评论(0) 推荐(0)
十道海量数据处理面试题与十个方法大总结
摘要： 第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小 阅读全文
posted @ 2016-08-20 15:35 夕月一弯 阅读(253) 评论(0) 推荐(0)
2016年8月16日
相似性度量(Similarity Measurement)与“距离”(Distance)
摘要： 在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。 本文的目的就是对常用的相似性度量作一个总结。 本文目录： 1. 欧氏距离 2. 阅读全文
posted @ 2016-08-16 20:34 夕月一弯 阅读(17602) 评论(3) 推荐(0)
2016年8月9日
局部敏感哈希算法
摘要： 这篇文章介绍了局部敏感哈希算法，局部敏感哈希是非监督的哈希算法。 算法的输入是实数域的特征向量，输出为一个binary vector。 利用哈希函数将数据点映射到不同的桶中是一种保形映射，使得数据点 i 和数据点 j 在原始空间的相似度 s 与映射后的在同一个桶的概率呈现正相关。之所以这么做，主要是 阅读全文
posted @ 2016-08-09 22:42 夕月一弯 阅读(2864) 评论(0) 推荐(0)
2016年8月3日
用R分析时间序列(time series)数据
摘要： 时间序列（time series）是一系列有序的数据。通常是等时间间隔的采样数据。如果不是等间隔，则一般会标注每个数据点的时间刻度。 time series data mining 主要包括decompose（分析数据的各个成分，例如趋势，周期性），prediction（预测未来的值），classi 阅读全文
posted @ 2016-08-03 10:00 夕月一弯 阅读(8998) 评论(0) 推荐(0)
上一页 1 ··· 7 8 9 10 11 12 13 14 15 ··· 18 下一页