摘要: 很多小伙伴在学习了多年大数据后,最后不得不感慨:“大数据的知识太繁杂了,我已经被淹没在大数据的海洋里了!”确实是的,在大数据学习的过程中,随着学习的深入,越来越多的新名词和新框架让学习者有种欲哭无泪的感觉,那么,这篇博文就对大数据开发的一个总体架构做一个介绍吧,让大家学习过程中,不至于迷失方向。先上 阅读全文
posted @ 2024-01-02 09:50 田攀攀的博客 阅读(93) 评论(0) 推荐(0)
摘要: 在Hive的学习中,有一个非常重要的知识点,那就是Hive的表类型。 Hive的表类型主要有:内部表(受控表)、外部表、临时表、分区表、分桶表。 一:内部表 内部表又称受控表,hive默认创建的表类型为内部表,当删除内部表的时候,数据和元数据都会被删除。 二:外部表 创建外部表需要使用EXTERNA 阅读全文
posted @ 2024-01-02 09:29 田攀攀的博客 阅读(334) 评论(0) 推荐(0)
摘要: Hive的基本操作很简单,与SQL的写法很类似,总结如下: 进入Hive环境 $HIVE_HOME/bin/hive 数据库操作 CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LO 阅读全文
posted @ 2023-12-30 18:08 田攀攀的博客 阅读(25) 评论(0) 推荐(0)
摘要: Hello,大家好,上一篇博文聊了一下Hive的基本知识,为了让大家更深入地理解Hive,本篇就写一下Hive的体系架构吧。 先看一张图: 大概解释一下: command-line shell & thrift/jdbc 可以用 command-line shell 和 thrift/jdbc 两种 阅读全文
posted @ 2023-12-26 09:52 田攀攀的博客 阅读(46) 评论(0) 推荐(0)
摘要: 在沸沸扬扬的大数据江湖里,有这么一个框架,它刚开始很低调,然而,就在那么一个不起眼的一天,突然展示出其绝妙的武功,让大数据各大框架的掌门人暗挑大拇指,好了,不卖关子了,这个“横空出世”的框架就是——Hive。 一:Hive产生的背景 万事有因果,Hive的出现也不是无缘无故的,总体来说,Hive出现 阅读全文
posted @ 2023-12-25 16:48 田攀攀的博客 阅读(52) 评论(0) 推荐(0)
摘要: Hello,各位“极客”好,上一篇文章中介绍了YARN集群架构的基本内容,那么,在YARN集群中应用程序的执行流程是怎样的呢?这个问题很重要,就要好好说道说道了...... 客户端提交应用程序(可以是MapReduce程序、Spark程序等)到ResourceManager。 ResourceMan 阅读全文
posted @ 2023-12-22 18:14 田攀攀的博客 阅读(49) 评论(0) 推荐(0)
摘要: 玩Hadoop的不知道YARN?这简直是天大的笑话!之前介绍Hadoop核心组件的时候(详见《Hadoop的“前世今生”》那篇博文)就曾提到过“YARN是实现了集群资源管理以及作业调度的框架”,那么本文就对YARN集群架构做进一步的介绍。 YARN的全称是:Yet Another Resource 阅读全文
posted @ 2023-12-21 23:07 田攀攀的博客 阅读(102) 评论(0) 推荐(0)
摘要: 说实话,wordcount这个案例挺土的,但是作为入门案例,还是值得学习的,本篇就通过MapReduce来对词频进行一个统计分析,并写出核心代码。 一:案例介绍: Input : 读取文本文件; Splitting : 将文件按照文件块(block)或者行进行拆分,此时得到的K1为偏移量,V1表示对 阅读全文
posted @ 2023-12-19 12:26 田攀攀的博客 阅读(643) 评论(0) 推荐(0)
摘要: MapReduce也是Hadoop里的核心内容,非常著名,五星级必须要掌握哦,本篇文章就先抛砖引玉,对MapReduce做一个基本介绍。 到底什么是MapReduce Hadoop MapReduce 是一个分布式计算框架,用于编写批处理应用程序。编写好的程序可以提交到 Hadoop 集群上用于并行 阅读全文
posted @ 2023-12-19 11:51 田攀攀的博客 阅读(54) 评论(0) 推荐(0)
摘要: HDFS的命令行操作很多,但是常用的也就那么几个,现在就总结一下吧: HDFS的常用命令: hadoop fs -ls / 查看hdfs根目录hadoop fs -put 源文件 目标地址 将本地文件存储到hdfs目标地址hadoop fs -cp 源 目标 拷贝源到目标hadoop fs -cop 阅读全文
posted @ 2023-12-19 11:25 田攀攀的博客 阅读(87) 评论(0) 推荐(0)