摘要：
这一学期我打算精读的书籍是《软件需求》，根据这本书的结构来看，我对这一学期的阅读计划是这样安排的： 第一篇：在十月十五发表读后感 第二篇：在十月三十发表读后感 第三篇：在十一月十五发表读后感 第四篇：在十一月三十发表读后感 第五篇：在十二月十五发表读后感 第六篇：在十二月三十发表读后感 阅读全文
posted @ 2020-10-04 20:49
程序那点事
阅读(98)
评论(0)
推荐(1)
摘要：
一、Namenode1.作用 ①负责元数据的存储 ②负责接受和处理客户端的请求 ③负责接受DN上报的信息 ④和DN保持心跳，向DN下达命令 2.元数据包含两部分 ①文件的属性(保存在edits+fsimage) ②块的位置信息(由DN启动后自动上报，动态生成) 3.存储元数据的文件①edits文件： 阅读全文
posted @ 2020-10-01 10:19
程序那点事
阅读(1043)
评论(1)
推荐(1)
摘要：
一、HDFS1. HDFS的本质是一个文件系统，特点是分布式，需要在多台机器启动多个NN,DN进程组成一个分布式系统 2. HDFS不支持对一个文件的并发写入，也不支持对文件的随机修改，不适合存储小文件(存储小文件时会降低NN的服务能力) 3. HDFS的块大小 块大小可以通过hdfs-site.x 阅读全文
posted @ 2020-09-29 20:50
程序那点事
阅读(314)
评论(0)
推荐(1)
摘要：
一、完全分布式集群的搭建1.进程规划 原则： ①核心进程尽量分散 ②同质进程尽量分散 2.集群间复制①scp scp -r 源文件的用户名@主机名：源文件路径 目标文件的用户名@主机名：目标文件路径 特点： 全量复制 ②rsync rsync -rvlt 源文件路径 目标文件的用户名@主机名：目标文 阅读全文
posted @ 2020-09-27 20:07
程序那点事
阅读(455)
评论(0)
推荐(1)
摘要：
一、大数据1.含义 大数据指在一定时间范围内使用常规的软件无法处理的数据集合！ 2.特点 ①海量 ②高增长率 ③多样性 ④低价值密度 二、Hadoop1.含义 狭义： Hadoop只代表hadoop框架本身！ 广义： hadoop代表整个hadoop体系，由hadoop框架和其他依赖于hadoop的 阅读全文
posted @ 2020-09-25 16:13
程序那点事
阅读(384)
评论(0)
推荐(1)
摘要：
一、说在前面 1、本周主要学习了伪分布式 二、HDFS 负责大数据的存储 核心进程： 必须进程： Namenode(1个)： 负责文件，名称等元数据(属性信息)的存储！ 文件名，大小，文件切分了多少块(block)，创建和修改时间等！ 职责： 接受客户端的请求！ 接受DN的请求！ 向DN分配任务！ 阅读全文
posted @ 2020-08-27 17:40
程序那点事
阅读(95)
评论(0)
推荐(1)
摘要：
一、说在前面 1、本周主要学习了hadoop的安装和简单使用 2、下周主要学习伪分布式 二、Hadoop的安装 ①Hadoop运行的前提是本机已经安装了JDK，配置JAVA_HOME变量②在Hadoop中启动多种不同类型的进程 例如NN,DN，RM,NM，这些进程需要进行通信！ 在通信时，常用主机名 阅读全文
posted @ 2020-08-20 15:23
程序那点事
阅读(114)
评论(0)
推荐(1)
摘要：
一、说在前面 1、本周主要学习了shell编程 2、下周主要学习hadoop的安装和简单使用 二、shell编程 1.shell是什么 Linux操作系统的核心是kernal（内核）！ 当应用程序在执行时，需要调用计算机硬件的cpu,内存等资源！ 程序将指令发送给内核执行！ 为了防止程序发送一些恶意 阅读全文
posted @ 2020-08-13 15:23
程序那点事
阅读(98)
评论(0)
推荐(1)
摘要：
一、说在前面 1、本周主要复习了Linux基础知识， 2、下周学习shell编程 二、Linux基础知识总结 1、Linux关机重启命令 （1）sync （功能描述：将数据由内存同步到硬盘中） （2）halt （功能描述：关闭系统，等同于shutdown -h now 和 poweroff） （3） 阅读全文
posted @ 2020-08-06 17:09
程序那点事
阅读(118)
评论(0)
推荐(1)
浙公网安备 33010602011771号