摘要：
1）配置mapred-site.xml [atguigu@hadoop102 hadoop]$ vim mapred-site.xml 在该文件里面增加如下配置。 <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</nam 阅读全文
posted @ 2021-08-20 19:07
好吗，好
阅读(69)
评论(0)
推荐(0)
摘要：
1）集群部署规划 注意： NameNode和SecondaryNameNode不要安装在同一台服务器 ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。 hadoop102 hadoop103 hadoop104 HDFS Na 阅读全文
posted @ 2021-08-19 19:21
好吗，好
阅读(114)
评论(0)
推荐(0)
摘要：
循环复制所有文件到所有结点的相同目录下 在/home/atguigu/bin目录下创建xsync文件 [atguigu@hadoop102 opt]$ cd /home/atguigu [atguigu@hadoop102 ~]$ mkdir bin [atguigu@hadoop102 ~]$ c 阅读全文
posted @ 2021-08-18 18:15
好吗，好
阅读(49)
评论(0)
推荐(0)
摘要：
0）安装模板虚拟机，IP地址192.168.10.100、主机名称hadoop100、内存4G、硬盘50G 1）hadoop100虚拟机配置要求如下（本文Linux系统全部以CentOS-7.5-x86-1804为例） （1）使用yum安装需要虚拟机可以正常上网，yum安装前可以先测试下虚拟机联网情 阅读全文
posted @ 2021-08-17 21:34
好吗，好
阅读(72)
评论(0)
推荐(0)
摘要：
1）Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。 2）Flume：Flume是一 阅读全文
posted @ 2021-08-17 12:13
好吗，好
阅读(70)
评论(0)
推荐(0)
摘要：
与传统的分布式程序设计相比，MapReduce封装了并行处理、容错处理、本地化计算、负载均衡等细节，还提供了一个简单而强大的接口。 MapReduce把对数据集的大规模操作，分发给一个主节点管理下的各分节点共同完成，通过这种方式实现任务的可靠执行与容错机制。 Map输入参数：in_key和in_va 阅读全文
posted @ 2021-08-16 13:30
好吗，好
阅读(205)
评论(0)
推荐(0)
摘要：
为了学习hadoop,便了解了一下Google的文件系统 GFS系统架构 1.GFS系统将整个系统结点分为三个角色 Client是GFS提供给应用程序的访问接口，以库文件的形式提供 Master是GFS的管理节点，负责整个文件系统的管理 Chunk Server负责具体的存储工作 2.GFS实现机制 阅读全文
posted @ 2021-08-15 11:09
好吗，好
阅读(398)
评论(0)
推荐(0)
摘要：
申请 1.上课按时到达教室，疫情在家签到很积极，在学校上课坐在前四排，上课认真听讲。 2.端午节不放假，按时打卡签到。 3.课后作业按时完成。 4.自己完成老师布置的任务，没有抄袭同学的。 建议 1.老师布置的作业和其它学科的关联性不大。 2.老师上课可不可以直接用软件实例来讲，通过具体的软件来阐述 阅读全文
posted @ 2021-06-20 20:03
好吗，好
阅读(46)
评论(0)
推荐(0)
摘要：
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <script src="jquery.min.js"></script> <script src="echarts.min.js" 阅读全文
posted @ 2021-06-18 10:37
好吗，好
阅读(367)
评论(0)
推荐(0)
摘要：
import pymysql #连接数据库 import requests import lxml as lxml from bs4 import BeautifulSoup def vall(morau,k): page = morau.text.split('=')[k] page = page 阅读全文
posted @ 2021-06-12 13:49
好吗，好
阅读(93)
评论(0)
推荐(0)
浙公网安备 33010602011771号