随笔分类 -  Hadoop

Hadoop学习笔记
摘要:大数据离线分析场景 通常是指对海量数据进分析和处理,形成结果数据,供下一步数据应用使用。离线处理对处理时间要求不高,但是所处理数据量较大,占用计算存储资源较多,通常通过MR或者Spark作业或者SQL作业实现。离线分析系统架构中以HDFS分布式存储软件为数据底座,计算引擎以基于MapReduce的H 阅读全文
posted @ 2020-04-02 14:00 rask
摘要:1、Hadoop和Java之间的版本配套 官方描述:https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions hadoop 3.x 版本仅支持 Java8hadoop 2.7.x及以上版本支持Java7和Java8h 阅读全文
posted @ 2020-02-27 16:11 rask
摘要:项目结构 HBase工具类的编写 在上一示例的基础上增加HBase工具类的编写 Reduce和HBase的整合 修改MapRecude,使得Reduce的输出为HBase。 修改Servlet代码 修改获取数据方式:从HBase获取数据。 阅读全文
posted @ 2019-07-08 14:50 rask
摘要:需求 1.统计音乐点播次数 2.使用echarts柱状图显示每首音乐的点播次数 项目结构 创建JavaEE项目 统计播放次数Job关键代码 Servlet关键代码 视图index.jsp关键代码 运行结果 项目所需jar列表 总结 1.该案例的缺点是什么?每次访问数据需要提交job到hadoop集群 阅读全文
posted @ 2019-07-04 10:39 rask
摘要:Linux中配置Hadoop运行环境 程序清单 创建Linux系统用户(伪分布式可直接使用root用户试验) root用户登录linux,密码同初始安装用户密码。 1.创建hadoop用户组 2.创建hadoop用户hduser 3.设置hduser密码 4.为hduser用户添加权限 5.重启虚拟 阅读全文
posted @ 2018-01-10 23:59 rask