孙中明 - 博客园

2020年9月10日

Hadoop基础-06-HDFS数据读写

摘要：源码见：https://github.com/hiszm/hadoop-train HDFS写数据 HDFS读数据元数据 HDFS的目录结构以及每个文件的BLOCK信息(id,副本系数,存储的位置[ { hadoop/tmp/dir } ] /name/.......) Checkpoint Sa 阅读全文

posted @ 2020-09-10 23:42 孙中明阅读(153) 评论(0) 推荐(0)

Hadoop基础-05-HDFS项目(词频统计)

摘要：源码见：https://github.com/hiszm/hadoop-train HDFS项目实战需求分析使用HDFS Java API 才完成HDFS文件系统上的额文件的词频统计例子 /test/1.txt ==> ' hello world' /test/2.txt ==> ' hell 阅读全文

posted @ 2020-09-10 23:41 孙中明阅读(672) 评论(0) 推荐(0)

Hadoop基础-04-HDFS API编程

摘要：源码见：https://github.com/hiszm/hadoop-train HDFS API编程开发环境搭建 porn.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/PO 阅读全文

posted @ 2020-09-10 23:40 孙中明阅读(223) 评论(0) 推荐(0)

2020年9月2日

Hadoop基础-03-HDFS(Hadoop Distributed File System)基本概念

摘要：源码见：https://github.com/hiszm/hadoop-train HDFS概述(Hadoop Distributed File System) 分布式的 commodity、low-cost hardware：去中心化IoE fault-tolerant：高容错 , 默认采用3副本阅读全文

posted @ 2020-09-02 09:57 孙中明阅读(395) 评论(0) 推荐(0)

2020年8月28日

Hadoop基础-02-组成构成

摘要：

目录 Hadoop概述 Hadoop核心组件之HDFS. Hadoop核心组件之MapReduce Hadoop核心组件之YARN Hadoop优势 Hadoop发展史 Hadoop生态圈 Hadoop发行版选型 OOTB环境的使用阅读全文

posted @ 2020-08-28 21:30 孙中明阅读(305) 评论(0) 推荐(0)

2020年8月21日

计算机网络-06-应用层

摘要：

目录应用层网络应用模型域名系统DNS 文件传输协议FTP TELNET 电子邮件 WWW万维网其他常见的协议端口 DHCP动态主机配置协议 SNMP简单网络管理协议网络安全网络安全内容两类密码体制鉴别网络安全概述阅读全文

posted @ 2020-08-21 15:46 孙中明阅读(215) 评论(0) 推荐(0)

计算机网络-05-运输层

摘要：

目录运输层作用进程间通信 UDP TCP 阅读全文

posted @ 2020-08-21 15:45 孙中明阅读(187) 评论(0) 推荐(0)

计算机网络-04-网络层

摘要：

目录网络层（IP数据报）功能路由算法两种服务对比两个地址定义 IPv4 IP协议因特网的路由选择协议 ip多播 VPN虚拟专用网阅读全文

posted @ 2020-08-21 15:44 孙中明阅读(258) 评论(0) 推荐(0)

计算机网络-03-数据链路层

摘要：

目录数据链路层功能组帧差错控制可靠传输流量控制介质访问数据链路的基本概念三个基本问题 PPP 局域网广域网设备阅读全文

posted @ 2020-08-21 15:38 孙中明阅读(230) 评论(0) 推荐(0)

计算机网络-02-物理层

摘要：

目录物理层物理层的基本概念信道中继器(Reapter)/集线器(Hub) 阅读全文

posted @ 2020-08-21 15:15 孙中明阅读(161) 评论(0) 推荐(0)

2020年8月20日

计算机网络-01-基本概念

摘要：

计算机网络计算机网络基本概念计算机网络因特网协议阅读全文

posted @ 2020-08-20 22:45 孙中明阅读(215) 评论(0) 推荐(0)

2020年8月4日

操作系统05-设备管理

摘要：操作系统第五章: 设备管理 I/O管理 I/O设备 I/O设备的类型传输速率低速设备鼠标、键盘每秒几十个字节到几百个字节中速设备打印机每秒数千个或数万个字节高速设备磁盘机每秒数百千个字节或数十兆字节信息交换单位字符设备 512B~4KB 可寻址信息存取的数据块块设备用阅读全文

posted @ 2020-08-04 21:15 孙中明阅读(359) 评论(0) 推荐(0)

操作系统04-文件管理

摘要：操作系统第四章: 文件管理文件和文件系统文件、记录和数据项数据项基本数据项原子数据 - 数据组织中可以命名的最小逻辑数据单位 - 描述对象某种属性的字符集组合数据项由若干基本数据项组成记录一组相关数据项的集合描述一个对象在某方面的属性对象文件有结构文件无结构文件一个对阅读全文

posted @ 2020-08-04 21:09 孙中明阅读(212) 评论(0) 推荐(0)

操作系统03-内存管理

摘要：操作系统第三章: 内存管理存储器的层次结构 CPU寄存器寄存器主存高速缓存主存储器磁盘缓存辅存固定磁盘可移动存储介质装入和链接装入绝对装入目标模块采用绝对地址逻辑地址和实际地址完全相同适用于单道环境可重定位装入在程序装入的时候装入存在地址变换，但是是直接找的当前阅读全文

posted @ 2020-08-04 20:51 孙中明阅读(179) 评论(0) 推荐(0)

操作系统02-进程管理

摘要：操作系统第二章:进程管理进程与线程进程的基本概念功能：为了描述并发执行程序的动态特性，引进的新的概念程序的顺序执行及其特征单批道处理系统的执行方式，按照前趋图的顺序执行顺序性、封闭性、可再现性程序的并发执行及其特征指若干个程序同时在系统中运行，在执行时间上是重叠的重叠是指运行程阅读全文

posted @ 2020-08-04 20:48 孙中明阅读(222) 评论(0) 推荐(0)