并发编程——系统基础

一、背景知识

　　故名思义，进程即正在执行的一个过程。进程是对正在运行的一个程序的抽象。

　　进程的概念起源于操作系统，是操作系统的核心概念，也是操作系统的最古老也是最重要的抽象概念之一。操作系统的其他所有内容都是围绕进程的概念展开的。

 　　@即使可以利用的CPU只有一个(早期的计算机确实如此)，也能保证支持(伪)并发的能力。将与一个单独的CPU变成多个虚拟的cpu(多道技术：时间多路复制和空间多路复用+硬件上支持隔离)，没有进程的抽象，现代计算机将不复存在。

　　1、操作系统的作用：

　　　　（1）、隐藏丑陋复杂的硬件接口，提供良好的抽象接口。

　　　　（2）、管理、调度进程，并且将多个进程对硬件的竞争变得更有序。

　　2、多道技术：

　　　　（1）、产生背景：针对单核，实现并发。

　　　　　　现在的主机一般是多核，那么每个都会利用多道技术。

　　　　　　有4个cpu，运行于cpu1的某个程序遇到io阻塞，会等到io结束再重新调度，会被调度到4个cpu中的任意一个，具体由操作系统调度算法决定。

　　　　（2）、空间上的复用：如内存中同时有多道程序

　　　　（3）、时间上的复用：复用一个cpu的时间片

　　　　　　强调：遇到io切，占用cpu时间也切，核心在于切之前将程序的状态保存下来，这样才能保证下次切换回来时，能基于上次切走的位置继续运行。

 

二、为什么要有操作系统

　　现代的计算机系统主要是由一个或多个处理器、内存、硬盘、键盘、鼠标、显示器、打印机、网络接口及其他输入输出设备组成。

　　一般而言，现代的计算机系统是一个复杂的系统。

　　　　其一：如果每位应用程序员都必须掌握该系统的所有细节，那就不可能再编写代码了，严重影响程序员的开发效率。

　　　　其二：并且管理这些部件并加以优化使用，是一件极富挑战的工作，于是计算机就安装了一层软件（系统软件），称为操作系统。它的任务就是为用户程序员提供一个更好、更简单、更清晰的计算机模型，并管理刚才提到的设备。

　　程序员无法把所有的硬件操作细节都了解到，管理这些硬件并加以优化使用时非常繁琐的工作，这个繁琐的工作就是操作系统来干的，有了它，程序员就可以从这些繁琐的工作中解脱出来，只需要考虑自己的应用软件的编写就可以了，应用软件使用操作系统提供的功能来间接的使用硬件。

 

三、什么是操作系统

　　1、精简的说，操作系统就是一个协调、管理和控制计算机硬件资源的控制程序。

　　　　操作系统位于计算机硬件与应用软件之间，本质也是一个软件。操作系统是由操作系统的内核（运行于内核态，管理硬件资源）以及系统调用（运行于用户态，为应用程序员写的应用程序提供系统调度接口）两部分组成，所以，单纯的说操作系统是运行于内核态的，是不准确的。

　　2、细说：操作系统应该分为两部分功能：

 　　　　（1）、隐藏了丑陋的硬件调用接口，为应用程序提供调用硬件资源的更好、更简单、更清晰的模型（系统调用接口）。应用程序有了这些接口后，就不用再考虑操作硬件的细节，专心开发自己的应用程序。

例如：操作系统提供了文件这个抽象的概念，对于文件操作就是对磁盘的操作，有了文件我们无需再去考虑关于磁盘的读写控制（比如控制磁盘转动，移动磁头读写数据等细节）。

　　　　（2）、将应用程序对硬件资源的静态请求变得有序化

例如：很多应用软件其实是共享一套计算机硬件，比方说有可能有三个应用程序同时需要申请打印机来输出内容，那么a程序竞争到了打印机资源就打印，然后可能是b竞争到了打印机资源，也可能是c，这样就导致了无序，打印机可能打印一段a的内容然后又去打印c......，操作系统的功能就是将这种无序变得有序。

 

 四、操作系统与普通软件的区别

　　1、主要区别是：你不想用暴风影音了你可以选择迅雷播放器或者干脆自己写一个，但是你无法写一个属于操作系统一部分的程序（时钟中断处理程序），操作系统由硬件保护，不能被用户修改。

　　2、操作系统与用户程序的差异并不在于二着所出的地位。特别地、操作系统是一个大型、复杂、长寿的软件。

　　　　（1）大型：Linux或者Windows的源代码有五百万行数量级，这还仅仅是内核部分。用户程序，如GUI、库以及基本应用软件（如Windows Explorer等），很容易就能达到这个数量的10倍或者20倍之多。

　　　　（2）长寿：操作系统很难编写，如此大的代码量，一旦完成，操作系统所有者便不会轻易扔掉，再写一个。而是再原有的基础上进行改进。（基本上可以把windows95/98/Me看出一个操作系统，而windows NT/2000/XP/Vista则是两位一个操作系统，对于用户来说它们十分相似。还有UNIX以及它的变体和克隆版本也演化了多年，如System V版，Solaris以及FreeBSD等都是Unix的原始版，不过尽管linux非常依照UNIX模式而仿制，并且与UNIX高度兼容，但是linux具有全新的代码基础）

 

五、操作系统的发展史

　　第一代计算机（1940~1955）：真空管和穿孔卡片

 　　　　产生的背景：

　　　　　　第一代之前人类是想用机械取代人力，第一代计算机的产生是计算机由机械时代进入电子时代的标志，从Babbage失败之后一直到第二次世界大战，数字计算机的建造几乎没有什么进展，第二次世界大战刺激了有关计算机研究的爆炸性进展。

　　　　　　lowa州立大学的john Atanasoff教授和他的学生Clifford Berry建造了据认为是第一台可工作的数字计算机。该机器使用300个真空管。大约在同时，Konrad Zuse在柏林用继电器构建了Z3计算机，英格兰布莱切利园的一个小组在1944年构建了Colossus，Howard Aiken在哈佛大学建造了Mark 1，宾夕法尼亚大学的William Mauchley和他的学生J.Presper Eckert建造了ENIAC。这些机器有的是二进制的，有的使用真空管，有的是可编程的，但都非常原始，设置需要花费数秒钟时间才能完成最简单的运算。

　　　　　　在这个时期，同一个小组里的工程师们，设计、建造、编程、操作及维护同一台机器，所有的程序设计是用纯粹的机器语言编写的，甚至更糟糕，需要通过成千上万根电缆接到插件板上连成电路来控制机器的基本功能。没有程序设计语言（汇编也没有），操作系统则是从来都没听说过。使用机器的过程更加原始，详见下‘工作过程’

　　　　特点：

　　　　　　没有操作系统的概念
　　　　　　所有的程序设计都是直接操控硬件

　　　　工作过程：　　　　　　

　　　　　　程序员在墙上的机时表预约一段时间，然后程序员拿着他的插件版到机房里，将自己的插件板街道计算机里，这几个小时内他独享整个计算机资源，后面的一批人都得等着(两万多个真空管经常会有被烧坏的情况出现)。

　　　　　　后来出现了穿孔卡片，可以将程序写在卡片上，然后读入机而不用插件板

　　　　优点：

　　　　　　程序员在申请的时间段内独享整个资源，可以即时地调试自己的程序（有bug可以立刻处理）

　　　　缺点：

　　　　　　浪费计算机资源，一个时间段内只有一个人用。

 

　　第二代计算机（1955~1965）：晶体管和批处理系统

 　　　　生产背景：

　　　　　　由于当时的计算机非常昂贵，自认很自然的想办法较少机时的浪费。通常采用的方法就是批处理系统。

　　　　特点：
　　　　　　设计人员、生产人员、操作人员、程序人员和维护人员直接有了明确的分工，计算机被锁在专用空调房间中，由专业操作人员运行，这便是‘大型机’。

　　　　　　有了操作系统的概念

　　　　　　有了程序设计语言：FORTRAN语言或汇编语言，写到纸上，然后穿孔打成卡片，再讲卡片盒带到输入室，交给操作员，然后喝着咖啡等待输出接口

　　　　工作过程：(插图)　

　　　　　　　

　　　　第二代如何解决第一代的问题/缺点

　　　　　　1.把一堆人的输入攒成一大波输入，
　　　　　　2.然后顺序计算（这是有问题的，但是第二代计算也没有解决）
　　　　　　3.把一堆人的输出攒成一大波输出

　　　　优点：

　　　　　　批处理，节省了机时

　　　　缺点：

　　　　　　1、整个流程需要参人与控制，将磁带搬来搬去

　　　　　　2.计算的过程仍然是顺序计算-》串行

　　　　　　3.程序员原来独享一段时间的计算机，现在必须被统一规划到一批作业中，等待结果和重新调试的过程都需要等同批次的其他程序都运作完才可以（这极大的影响了程序的开发效率，无法及时调试程序）

 

　　第三代计算机（1965~1980）：集成电路芯片和多道程序设计

 　　　　产生的背景：　　　　　　

　　　　　　20世纪60年代初期，大多数计算机厂商都有两条完全不兼容的生产线。

一条是面向字的：大型的科学计算机，如IBM 7094，主要用于科学计算和工程计算

另外一条是面向字符的：商用计算机，如IBM 1401，主要用于银行和保险公司从事磁带归档和打印服务

　　　　　　开发和维护完全不同的产品是昂贵的，同时不同的用户对计算机的用途不同。

IBM公司试图通过引入system/360系列来同时满足科学计算和商业计算，360系列低档机与1401相当，高档机比7094功能强很多，不同的性能卖不同的价格

　　　　　　360是第一个采用了（小规模）芯片（集成电路）的主流机型，与采用晶体管的第二代计算机相比，性价比有了很大的提高。这些计算机的后代仍在大型的计算机中心里使用，此乃现在服务器的前身，这些服务器每秒处理不小于千次的请求。

　　　　如何解决第二代计算机得问题1：

　　　　　　卡片被拿到机房后能够很快的将作业从卡片读入磁盘，于是任何时刻当一个作业结束时，操作系统就能将一个作业从磁带读出，装进空出来的内存区域运行，这种技术叫做
同时的外部设备联机操作：SPOOLING，该技术同时用于输出。当采用了这种技术后，就不在需要IBM1401机了，也不必将磁带搬来搬去了（中间俩小人不再需要）

　　　　如何解决第二代计算机得问题2：

　　　　　　第三代计算机的操作系统广泛应用了第二代计算机的操作系统没有的关键技术：多道技术

　　　　　　cpu在执行一个任务的过程中，若需要操作硬盘，则发送操作硬盘的指令，指令一旦发出，硬盘上的机械手臂滑动读取数据到内存中，这一段时间，cpu需要等待，时间可能很短，但对于cpu来说已经很长很长，长到可以让cpu做很多其他的任务，如果我们让cpu在这段时间内切换到去做其他的任务，这样cpu不就充分利用了吗。这正是多道技术产生的技术背景

　　多道技术：

　　　　多道技术中的多道指的是多个程序，多道技术的实现是为了解决多个程序竞争或者说共享同一个资源（比如cpu）的有序调度问题，解决方式即多路复用，多路复用分为时间上的复用和空间上的复用。

　　　　　　空间上的复用：将内存分为几部分，每个部分放入一个程序，这样，同一时间内存中就有了多道程序。

　　　　　　时间上的复用：当一个程序在等待I/O时，另一个程序可以使用cpu，如果内存中可以同时存放足够多的作业，则cpu的利用率可以接近100%，类似于我们小学数学所学的统筹方法。（操作系统采用了多道技术后，可以控制进程的切换，或者说进程之间去争抢cpu的执行权限。这种切换不仅会在一个进程遇到io时进行，一个进程占用cpu时间过长也会切换，或者说被操作系统夺走cpu的执行权限）

　　　　空间上的复用最大的问题是：程序之间的内存必须分割，这种分割需要在硬件层面实现，由操作系统控制。如果内存彼此不分割，则一个程序可以访问另外一个程序的内存。　　　　　　　　　首先丧失的是安全性，比如你的qq程序可以访问操作系统的内存，这意味着你的qq可以拿到操作系统的所有权限。

　　　　　　其次丧失的是稳定性，某个程序崩溃时有可能把别的程序的内存也给回收了，比方说把操作系统的内存给回收了，则操作系统崩溃。

　　　　第三代计算机的操作系统仍然是批处理

　　　　　　许多程序员怀念第一代独享的计算机，可以即时调试自己的程序。为了满足程序员们很快可以得到响应，出现了分时操作系统

 

　　　　如何解决第二代计算机得问题3：　　　　　　

　　　　　　分时操作系统：
　　　　　　多个联机终端+多道技术

　　　　　　20个客户端同时加载到内存，有17在思考，3个在运行，cpu就采用多道的方式处理内存中的这3个程序，由于客户提交的一般都是简短的指令而且很少有耗时长的，索引计算机能够为许多用户提供快速的交互式服务，所有的用户都以为自己独享了计算机资源

　　　　　　CTTS：麻省理工（MIT）在一台改装过的7094机上开发成功的，CTSS兼容分时系统，第三代计算机广泛采用了必须的保护硬件（程序之间的内存彼此隔离）之后，分时系统才开始流行　　　　　

　　　　　　MIT，贝尔实验室和通用电气在CTTS成功研制后决定开发能够同时支持上百终端的MULTICS（其设计者着眼于建造满足波士顿地区所有用户计算需求的一台机器），很明显真是要上天啊，最后摔死了。

　　　　　　后来一位参加过MULTICS研制的贝尔实验室计算机科学家Ken Thompson开发了一个简易的，单用户版本的MULTICS，这就是后来的UNIX系统。基于它衍生了很多其他的Unix版本，为了使程序能在任何版本的unix上运行，IEEE提出了一个unix标准，即posix（可移植的操作系统接口Portable Operating System Interface）

　　　　　　后来，在1987年，出现了一个UNIX的小型克隆，即minix，用于教学使用。芬兰学生Linus Torvalds基于它编写了Linux

 

　　第四代计算机（1980~至今）：个人计算机

 　　　　随着LSI （大规模集成电路） 的发展，在每平方厘米的硅片芯片上可以集成数千个晶体管，个人计算机时代到来了。从体系结构上看，个人计算机（最早称为微型计算机）与PDP-11并无二致，但就价格而言却相去甚远。以往，公司的一个部门或大学里的一个院系才配备一台小型机，而微处理器却使每个人都能拥有自己的计算机。　　　　

　　　　在微软决定构建MS-DOS的后继产品时，受到了Macintosh成功的巨大影响。微软开发了名为Windows的基于GUI的系统，早期它运行在MS-DOS上层（它更像 shell而不像真正的操作系统）。在从1985年至1995年的10年之间，Windows只是在MS-DOS上层的一个图形环境。然而，到了1995年，一个独立的Windows版本，具有许多操作系统功能的Windows 95发布了。Windows 95仅仅把底层的MS-DOS作为启动和运行老的MS-DOS程序之用。1998年，一个稍做修改的系统，Windows 98发布。不过Windows 95和Windows 98仍然使用了大量16位Intel 汇编语言。

　　　　另一个微软操作系统是Windows NT（NT表示新技术），它在一定的范围内同Windows 95兼容，但是内部是完全新编写的。它是一个32位系统。Windows NT的首席设计师是David Cutler，他也是VAX VMS 操作系统的设计师之一，所以有些VMS的概念用在了NT上。事实上，NT中有太多的来自VMS的思想，所以VMS的所有者DEC公司控告了微软公司。法院对该案件判决的结果引出了一大笔需要用多位数字表达的金钱。微软公司期待NT的第一个版本可以消灭MS-DOS和其他的Windows版本，因为NT 是一个巨大的超级系统，但是这个想法失败了。只有Windows NT 4.0踏上了成功之路，特别在企业网络方面取得了成功。1999年初，Windows NT 5.0改名为Windows 2000。微软期望它成为Windows 98和Windows NT 4.0的接替者。

　　　　不过这两个方面都不太成功，于是微软公司发布了Windows 98的另一个版本，名为Windows Me （千年版）。2001年，发布了Windows 2000的一个稍加升级的版本，称为Windows XP。这个版本的寿命比较长（6年），基本上替代了Windows所有原先版本。在2007年1月，微软公司发布了Windows XP的后继版，名为Vista。它有一个新的图形接口Aero，以及许多其他新的或升级的用户程序。微软公司希望Vista能够完全替代XP，但是这个过程可能需要将近十年的时间。

　　　　在个人计算机世界中，另一个主要竞争者是UNIX（和它的各种变体）。UNIX在网络和企业服务器等领域强大，在台式计算机上，特别是在诸如印度和中国这些发展中国家里，UNIX的使用也在增加。在基于Pentium的计算机上，Linux 成为学生和不断增加的企业用户们代替Windows的通行选择。顺便提及，在本书中，我们使用“Pentium”这个名词代表Pentium I，II，III和4，以及它们的后继者，诸如Core 2 Duo等。术语x86有时仍旧用来表示Intel公司的包括8086的CPU，而“Pentium”则用于表示从Pentium I开始的所有CPU。很显然，这个术语并不完美，但是没有更好的方案。人们很奇怪，是Intel公司的哪个天才把半个世界都知晓和尊重的品牌名（Pentium）扔掉，并替代以“ Core 2 Duo”这样一个几乎没有人立即理解的术语—“2”是什么意思，而“Duo”又是什么意思？也许“Pentium 5”（或者“Pentium 5 dual core”）太难于记忆吧。至于FreeBSD，一个源自于Berkeley的 BSD项目，也是一个流行的UNIX变体。所有现代Macintosh计算机都运行着FreeBSD的一个修改版。在使用高性能RISC芯片的工作站上，诸如Hewlett-Packard 公司和Sun Microsystems公司销售的那些机器上，UNIX系统也是一种标准配置。

　　　　尽管许多UNIX用户，特别是富有经验的程序员们更偏好基于命令的界面而不是GUI，但是几乎所有的UNIX系统都支持由MIT开发的称为X Windows 的视窗系统（如众所周知的X11）。这个系统处理基本的视窗管理功能，允许用户通过鼠标创建、删除、移动和变比视窗。对于那些希望有图形系统的UNIX用户，通常在X 11之上还提供一个完整的GUI，诸如Gnome或KDE，从而使得UNIX在外观和感觉上类似于Macintosh或Microsoft Windows。

　　　　另一个开始于20世纪80年代中期的有趣发展是，那些运行网络操作系统和分布式操作系统（Tanenbaum和Van Steen，2007）的个人计算机网络的增长。在网络操作系统中，用户知道多台计算机的存在，用户能够登录到一台远地机器上并将文件从一台机器复制到另一台机器，每台计算机都运行自己本地的操作系统，并有自己的本地用户（或多个用户）。

　　　　网络操作系统与单处理器的操作系统没有本质区别。很明显，它们需要一个网络接口控制器以及一些低层软件来驱动它，同时还需要一些程序来进行远程登录和远程文件访问，但这些附加成分并未改变操作系统的本质结构。

　　　　相反，分布式操作系统是以一种传统单处理器操作系统的形式出现在用户面前的，尽管它实际上是由多处理器组成的。用户应该不知晓他们的程序在何处运行或者他们的文件存放于何处，这些应该由操作系统自动和有效地处理。

　　　　真正的分布式操作系统不仅仅是在单机操作系统上增添一小段代码，因为分布式系统与集中式系统有本质的区别。例如，分布式系统通常允许一个应用在多台处理器上同时运行，因此，需要更复杂的处理器调度算法来获得最大的并行度优化。

　　　　网络中的通信延迟往往导致分布式算法必须能适应信息不完备、信息过时甚至信息不正确的环境。这与单机系统完全不同，对于后者，操作系统掌握着整个系统的完备信息。