• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录

HzYul

  • 博客园
  • 联系
  • 订阅
  • 管理

公告

2020年12月6日

20201206-大数据-08

摘要: 一、hive用本地文件进行词频统计 1.准备本地txt文件 2.启动hadoop,启动hive 3.创建数据库,创建文本表 4.映射本地文件的数据到文本表中 5.hql语句进行词频统计交将结果保存到结果表中。 6.查看统计结果 二、hive用HDFS上的文件进行词频统计 1.准备电子书或其它大的文本 阅读全文

posted @ 2020-12-06 17:51 HzYul 阅读(66) 评论(0) 推荐(0)

2020年11月21日

20201121-大数据-07

摘要: 1.列出Hbase所有的表的相关信息,如表名: 2.在终端打印出指定表的所有记录数据 3.向已经创建好的表添加和删除指定的列族或列 4.清空指定表的所有记录数据 5.统计表的行数 关系型数据库中的表和数据(教材P92上),要求将其转换为适合于HBase存储的表并插入数据。 编程完成以下指定功能(教材 阅读全文

posted @ 2020-11-21 20:01 HzYul 阅读(102) 评论(0) 推荐(0)

2020年10月24日

20201024-大数据-05

摘要: 本地文件系统创建一个文件,输入带姓名学号信息。 查看新建文件所在目录 查看新建文件内容 将此文件上传到HDFS文件系统上的用户目录 HDFS上查看相应目录 HDFS上查看文件大小 删除本地1步骤创建的文件 将HDFS上的文件下载到本地 查看本地文件目录 阅读全文

posted @ 2020-10-24 16:34 HzYul 阅读(106) 评论(0) 推荐(0)

2020年10月17日

20201017-大数据-04

摘要: 1.描述HDFS体系结构、工作原理与流程 1.1HDFS体系结构如图所示 1.2 HDFS工作原理 文件太大,一个机器的空间不足,可以将文件分割为小块儿然后保存到多台机器上;另外,还可以在不同机器上对文件进行备份,避免因为机器损坏文件丢失。 传统的分布式存储模式也可以做到以上两点,但是存储一些问题: 阅读全文

posted @ 2020-10-17 14:21 HzYul 阅读(91) 评论(0) 推荐(0)

2020年10月10日

20201009-大数据-03

摘要: 阅读全文

posted @ 2020-10-10 17:20 HzYul 阅读(64) 评论(0) 推荐(0)

2020年9月19日

20200918-大数据-02

摘要: 1.了解对比Hadoop不同版本的特性 上图为网友总结的图形对比图 第一代Hadoop称为Hadoop1.0,第二代Hadoop称为Hadoop2.0。 第一代Hadoop包含0.20.x、0.21.x、0.22.x三大版本,其中,0.20.x最后演化成1.0.x,变成了稳定版。而0.21.x和0. 阅读全文

posted @ 2020-09-19 09:52 HzYul 阅读(142) 评论(0) 推荐(0)

2020年9月12日

20200911-大数据-01

摘要: 1、了解微信、微博、小视频每天产生的数据量与数据类型 其数据类型有: String:字符串 Number:数字 Object:对象 Array:数组 Bool:布尔值 Date:时间 Geo:多种地理位置类型 微信:根据数据显示每天有450亿次信息发送出,有4.1亿次音视频呼叫成功。其中,视频通话用 阅读全文

posted @ 2020-09-12 12:23 HzYul 阅读(105) 评论(0) 推荐(0)

 
博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3