随笔分类 -  MapReduce

分布式计算MapReduce
HBase 与 MapReduce 整合
摘要：HBase 与 MapReduce 整合 phoenix.apache.org Mapreduce运行3种方式 本地方式运行： pc环境 1.1、将 Hadoop安装本地解压 1.2、配置 Hadoop的环境变量 添加%HADOOP_HOME% 修改%PATH%添加%HADOOP_HOME%/bin 阅读全文
posted @ 2020-12-02 15:39 shaoyayu 阅读(1295) 评论(0) 推荐(0)
MapReduce TFIDF 案列
摘要：TFIDF 案列 概念 TF-IDF（term frequency–inverse document frequency）是一种用于资讯检索与资讯探勘的常用加权技术。 TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。 字词的重要性随着它在文件中出现的次 阅读全文
posted @ 2020-08-04 16:28 shaoyayu 阅读(176) 评论(0) 推荐(0)
MapReduce PageRank案列
摘要：PageRank案列 什么是pagerank PageRank是Google提出的算法，用于衡量特定网页相对于搜索引擎索弓中的其他网页而言的重要程度。 是Google创始人拉里佩奇和谢尔盖布林于1997年创造的 PageRank实现了将链接价值概念作为排名因素。 计算环境 Hadoop-2.5.2 阅读全文
posted @ 2020-08-04 16:26 shaoyayu 阅读(262) 评论(0) 推荐(0)
MapReduce好友推荐案例
摘要：MapReduce好友推荐案例 好友序列 tom hello hadoop cat world hadoop hello hive cat tom hive mr hive hello hive cat hadoop world hello mr hadoop tom hive world hell 阅读全文
posted @ 2020-08-04 16:23 shaoyayu 阅读(265) 评论(0) 推荐(0)
MapReduce天气查询实列
摘要：MapReduce天气查询实列 天气统计案例 2000-01-01 16 29 2000-01-02 14 40 2000-01-03 23 35 2000-01-04 18 25 2000-01-05 14 33 2000-01-06 14 -4 ...... 2000-01-18 23 26 2 阅读全文
posted @ 2020-08-04 16:21 shaoyayu 阅读(255) 评论(0) 推荐(0)
MapReduce源码分析
摘要：MapReduce源码分析 Job waitForCompletion方法 public boolean waitForCompletion(boolean verbose ) throws IOException, InterruptedException, ClassNotFoundExcept 阅读全文
posted @ 2020-08-04 16:18 shaoyayu 阅读(248) 评论(0) 推荐(0)
MapReduce api实战
摘要：MapReduce api实战 配置pmx <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLS 阅读全文
posted @ 2020-08-04 16:16 shaoyayu 阅读(309) 评论(0) 推荐(0)
MapReduce 案例与概述
摘要：MapReduce 案例与概述 官方简介 Overview Hadoop MapReduce is a software framework for easily writing applications which process vast amounts of data (multi-terab 阅读全文
posted @ 2020-08-04 16:07 shaoyayu 阅读(227) 评论(0) 推荐(0)