摘要: 什么是SQL?1.SQL是结构化查询语言2.SQL是一种ANSI的标准计算机语言(ANSI是一种字符代码,与之相关的还有ASCll,Unicode)3.SQL是用于访问和处理数据库的标准的计算机语言那么,SQL能为我们做什么呢? 如果你想要在你的网站使用SQL,你需要准备以下要素其中RDBMS为关系 阅读全文
posted @ 2022-10-17 23:43 梗 阅读(448) 评论(0) 推荐(0)
摘要: Yarn是Hadoop的资源管理器,它是一个通用的资源管理系统,为上层应用提供统一的资源管理和调度,这里展示一张YARN的官方架构图,各位可以看一下。 接下来让我们看看架构图中出现的概念 Container(容器)是YARN中的资源抽象,它封装了某个节点上的多维度资源。YARN会为每个任务分配Con 阅读全文
posted @ 2022-10-15 23:45 梗 阅读(60) 评论(0) 推荐(0)
摘要: 学习MapReduce,首先要理解它的思想——分而治之,先分再合,分而治之,所谓的分而治之,意思就是将一个复杂的问题,按照一定的分解方法分解为规模较小的若干的部分,再逐个解决,分别找出各部分的结果,然后把各部分的结果组成整个问题的最终结果。 在这里,先附上一张MapReduce的整体流程图 MapR 阅读全文
posted @ 2022-10-15 17:36 梗 阅读(43) 评论(0) 推荐(0)
摘要: 我使用的是Finalshell,不是Xshell,各位可以参考一下 1.首先,开启虚拟机,等待连接成功,输入"start-all.sh"启动HDFS,Yarn,然后输入jps查看进程是否正常 2.打开HDFS Web界面,在本地浏览器输入namenode节点服务器的ip或域名+端口(例如:我用是ed 阅读全文
posted @ 2022-10-13 10:08 梗 阅读(58) 评论(0) 推荐(0)
摘要: 首先,让我们看一下官方的HDFS架构图,从上面能看到Namenode,Datanode,除此之外还有Secondarynode 主角色:NamenodeNamenode是Hadoop分布式文件系统的核心,架构中的主角色。同时NameNode也要维护和管理文件系统元数据 ,包括名称空间目录树结构、文件 阅读全文
posted @ 2022-10-09 00:19 梗 阅读(477) 评论(0) 推荐(0)
摘要: 1.hadoop fs -mkdir [-p] <path> path为待创建的目录,如果没有一个父目录就加一个-p 例:hadoop fs -mkdir /yuan 创建一个yuan的目录 2. hadoop fs -ls [-h] [-R] [path] path指定目录路径 -h人性化显示文件 阅读全文
posted @ 2022-10-05 15:47 梗 阅读(120) 评论(0) 推荐(0)
摘要: 1.ls 用于显示指定工作目录下的内容,还有两个参数,第一个 -a显示所有文件和目录,.开头隐藏文件也会显示。第二个 -l除文件名称外,也会将文件型态,权限,拥有者,文件大小等信息详细列出,简称ll。 2.cd 表示到达某个目录,cd .表示目前所在目录,cd ..表示当前目录位置的上一层目录。 3 阅读全文
posted @ 2022-10-02 00:05 梗 阅读(128) 评论(0) 推荐(0)