Meditation

摘要： 十七。小文件问题 十八。MR的大容量缓存 在MR中使用和读取大容量缓存，（也就是说，可能包括数十亿键值对，而无法放在一个商用服务器的内存中）。本次提出的算法通用，可以在任何MR范式中使用。（eg:MR，Spark） 阅读全文

摘要： 十五、查找、统计和列出大图中的所有三角形 第一步骤的mr: 第二部mr: 找出三角形 第三部：去重 spark: 十六： k-mer计数 spark: 阅读全文

摘要： 十三。朴素贝叶斯 朴素贝叶斯是一个线性分类器。处理数值数据时，最好使用聚类技术（eg:K均值）和k-近邻方法，不过对于名字、符号、电子邮件和文本的分类，则最好使用概率方法，朴素贝叶斯就可以。在某些情况下，NBC也可以用来对数值数据分类。 对于数值数据的分类，比如（连续属性，身高，体重，脚长），建议采 阅读全文

摘要： 十一。k-均值聚类 这个需要MR迭代多次。 开始时，会选择K个点作为簇中心，这些点成为簇质心。可以选择很多方法啦初始化质心，其中一种方法是从n个点的样本中随机选择K个点。一旦选择了K个初始的簇质心，下面可以计算输入集合中各个点到这个k个中心点的距离，然后将各个点分配到与他距离最近的簇中心。所有对象都 阅读全文

摘要： 九。基于内容的电影推荐 在基于内容的推荐系统中，我们得到的关于内容的信息越多，算法就会越复杂（设计的变量更多），不过推荐也会更准确，更合理。 本次基于评分，提供一个3阶段的MR解决方案来实现电影推荐。 1.找出各个电影的评分人总数 2.对于每个电影对A和B,找出所有同时对A和B评分的人。 3.找出每 阅读全文

摘要： 七，共同好友。 在所有用户对中找出“共同好友”。 eg: a b,c,d,g b a,c,d,e map（）-》 <a,b>,<b,c,d,g> ;<a,c>,<b,c,d,g>;..... <a,b>,<a,c,d,e> reduce()-> <a,b>,<c,d> 也就是a,b的共同好友是c,d 阅读全文

摘要： 五。移动平均 多个连续周期的时间序列数据平均值（按相同时间间隔得到的观察值，如每小时一次或每天一次）称为移动平均。之所以称之为移动，是因为随着新的时间序列数据的到来，要不断重新计算这个平均值，由于会删除最早的值同时增加最新的值，这个平均值会相应地“移动”。 例子： java代码： MR方案： 方案1 阅读全文

摘要： 本人在某次会上的语言模型的ppt. 阅读全文

摘要： 三。 左外连接 考虑一家公司，比如亚马逊，它拥有超过2亿的用户，每天要完成数亿次交易。假设我们有两类数据，用户和交易： users(user_id,location_id) transactions(transction_id,product_id,user_id,quantity,amout) 所 阅读全文

摘要： 一、二次排序问题。 MR/hadoop两种方案： 1.让reducer读取和缓存给个定键的所有值（例如，缓存到一个数组数据结构中，）然后对这些值完成一个reducer中排序。这种方法不具有可伸缩性，因为reducer要接受一个给定键的所有值，这种方法可能导致reducer的内存耗尽（OOM）。另一方 阅读全文