• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
waker_wang
博客园 | 首页 | 新随笔 | 新文章 | 联系 | 订阅 订阅 | 管理

2018年8月15日

大数据小项目之电视收视率企业项目14--总结
摘要: 这个项目用到的东西就是一些常用的hive、sqoop、mysql以及涉及到MR的编写,总体难度不大,但是中间细节太多,需要很细心才能完整的做好这个项目。 比如其中的sqoop,虽然你只要写对,一分钟就能搞定,但是有时候中间不免有点卡带,就像我,有的时候,一个东西得写好几遍,反复对比才能知道错误在哪, 阅读全文
posted @ 2018-08-15 10:12 waker_wang 阅读(214) 评论(0) 推荐(0)
 
大数据小项目之电视收视率企业项目13---》可视化
摘要: 安装PHPstudy 按照步骤安装,完成之后启动 打开浏览器,输入localhost,出现以下界面 可视化工具用的是 echarts 在phpstudy安装目录下的www文件夹里新建目录chart(名称自定义),然后将echarts.js移动到该目录下 新建一个以 .php为后缀名的文件 保存,然后 阅读全文
posted @ 2018-08-15 10:06 waker_wang 阅读(461) 评论(1) 推荐(0)
 
大数据小项目之电视收视率企业项目12
摘要: 因为环境不足,所以没有用flume收集日志,而是用的已经从别的渠道的日志 日志截图: 编写以下脚本,将收集的日志文件上传至HDFS MR清洗数据 创建工程导入依赖库: Mapper类 Driver类 打jar包 上传jar包到虚拟机,执行命令 hadoop jar /home/wang/mrclic 阅读全文
posted @ 2018-08-15 09:50 waker_wang 阅读(415) 评论(0) 推荐(0)
 
大数据小项目之电视收视率企业项目11
摘要: sqoop数据迁移 概述 sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。 导入数据:MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统; 导出数据:从Hadoop的文件系统中导出数据到关系数据库 工作机制 将导入或导出 阅读全文
posted @ 2018-08-15 09:08 waker_wang 阅读(357) 评论(0) 推荐(0)
 
大数据小项目之电视收视率企业项目10
摘要: Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。 Agent主要由:source,channel,sink三个组 阅读全文
posted @ 2018-08-15 08:58 waker_wang 阅读(464) 评论(0) 推荐(0)
 
大数据小项目之电视收视率企业项目09--hive环境搭建
摘要: Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上,总归为大数据,并使得查询和分析方便。并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 术语“大数据”是大型数据集,其中包括体积庞大,高速,以及各种由与日俱增的数据的集合。使用 阅读全文
posted @ 2018-08-15 08:47 waker_wang 阅读(340) 评论(0) 推荐(0)
 
 

公告


博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3