Node复习

简单复习下node,不过很多重要的知识点是图,文字无法展示出来。

1.Node的特点

  • 异步I/O
  • 事件与回调函数
  • 单线程
  • 跨平台(libuv)

 

2.Node的应用场景

  • I/O密集型(事件循环、异步I/O)
  • CPU密集型(可以采用子进程)

 

3.CommonJS的模块规范

  • 模块引用
  • 模块定义
  • 模块标识

 

4.Node的模块实现

  • 优先从缓存加载
  • 路径分析和文件定位(核心模块》文件模块》自定义模块)(.js、.json、.node)
  • 模块编译(js:fs读取。node:dlopen()。json:fs模块+JSON.parse())

 

5.AMD规范与CMD规范

  • 对于依赖的模块,AMD 是提前执行,CMD 是延迟执行。

  • CMD 推崇依赖就近,AMD 推崇依赖前置

 

6.Node的异步I/O

  • 事件循环
  • 观察者
  • 请求对象
  • 执行回调

事件循环、观察者、请求对象、I/O线程池这死者共同构成了Node异步I/O模型的基本要素。

windows下主要通过IOCP来向系统发送I/O调用和从内核获取已完成的I/O操作,配以事件循环,以此来完成异步I/O的过程。

在linux下通过epoll来实现这个过程。,FreeBSD通过kqueue实现,Solaris通过Event ports实现。

不同的是线程池在windos下由内核(IOCP)直接提供,*nix系列下由libuv自行实现。

 

7.非I/O的异步API

执行顺序可以参考这篇文章

https://juejin.im/post/5b097df46fb9a07aa213cf88

异或是这两篇

http://www.cnblogs.com/wuguanglin/p/EventLoop.html

https://www.jianshu.com/p/12b9f73c5a4f

 

8.异步编程解决方案

  • 事件发布/订阅模式
  • Promise
  • Generator
  • Async/Await

 

9.V8的内存限制

Node基于V8构建,在Node使用的javascript对象基本上都是通过V8自己的方式来进行分配和管理。V8的这套内存管理机制在浏览器的应用场景下绰绰有余,但在Node中,却限制了开发者随心所欲使用大内存的想法。

V8为何要限制堆的大小,表层原因为V8最初为浏览器而设计,不太可能遇到用大量内存的场景。深层的原因是V8的垃圾回收机制的限制。(内存越大,垃圾回收耗时越长)

 

10.V8的垃圾回收机制

V8的垃圾回收策略主要基于分代式垃圾回收机制:现代的垃圾回收算法中按对象的存活时间将内存的垃圾回收进行不同的分代,然后分别对不同分代的内存施以更高效的算法。

在V8中,主要将内存分为新生代和老生代两代,新生代中的对象为存活时间较短的对象,老生代中的对象为存活时间较长或常驻内存的对象。

V8堆内存的最大保留空间=4*reserved_semispace_size_+max_old_generation_size_

默认情况下,V8堆内存的最大值在64位系统上为1464MB,32位系统上则为732MB。

 

新生代对象回收算法:Scavenge(打扫)算法(具体实现为Cheney算法),典型的牺牲空间换取时间的算法

当开始进行垃圾回收时,会检查from空间的存活对象,这些存活对象将被复制到To空间中,而非存活对象占用的空间将会被释放。完成复制后,From空间和To空间的角色发生对换。简而言之,在垃圾的回收过程中,就是讲存活对象在两个semispace空间之间进行复制。

 

对象晋升的条件:a.对象是否经历过一次Scavenge回收。b.To空间的内存占比是否超过限制。

 

老生代对象回收算法:Mark-Sweep(标记清除)&Mark-Compat(标记整理)

Mark-Sweep是标记清除的意思,它分为标记和清除两个阶段。与Scavenge相比,Mark-Sweep并不将内存空间划分为两半,所以不存在浪费一半空间的行为。与Scavenge复制活着的对象不同,Mark-Sweep在标记阶段遍历堆中所有的对象,并标记活着的对象,在随后的清除阶段中,只清除没有被标记的对象。可以看出,Scavenge中只复制活着的对象,而Mark-Sweep只清理死亡对象,活对象在新生代中只占较小部分,死对象在老生代中只占较小部分,这是两种回收方式能高效的原因。

MarkSweep最大的问题是在一次标记清除回收后,内存空间会出现不连续的状态。

为了解决MarkSweep的内存碎片问题,Mark-Compat被提出来:对象在标记为死亡后,在整理的过程中,将活着的对象往一端移动,移动完成后,直接清理掉边界外的内存。

V8主要使用Mark-Sweep,在空间不足以对新生代中晋升过来的对象进行分配时才是用Mark-Compat

 

为了降低全堆垃圾回收带来的停顿时间,V8先从标记阶段入手,将原来要一口气停顿完成的动作改为增量标记(Incemental Marking),也就是拆分为许多小“步进”,垃圾回收与应用逻辑交替执行直到标记阶段完成。

 

V8后续还引入了延迟清理(lazy sweeping)与增量式清理(incremental compaction),还计划引入并行标记与并行清理。

 

11.如何高效使用内存

由于全局作用域需要直到进程退出才能释放,此时将导致引用的对象常驻内存(常驻在老生代中),建议通过赋值的方式解除引用。

闭包会导致作用域无法释放,即产生的内存占用也得不到释放,除非不再引用,才会逐步释放。

 

12.堆外内存

rss(进程的常驻内存)=堆内存+堆外内存 

Node的内存使用并非都是通过V8进行分配的,那些不通过V8分配的内存称为堆外内存。

利用堆外内存可以突破内存限制的问题

Buffer对象不经过V8的内存分配机制,而是在Node的C++层面实现内存的申请的。

 Node提供了Stream模块用于处理大文件。

13.造成内存泄露的常见原因

  • 缓存(应当限制缓存的无限增长。使用大缓存的解决方案:进程外的缓存。Redis和Memcached)
  • 队列消费不及时(消费速度低于生产速度,产生堆积。解决方案:a.监控队列的长度.b.超时机制)
  • 作用域未释放

 14.Buffer

Buffer是一个像Array的毒香,但它主要用于操作字节。

创建的话就用Buffer.from()方法

Buffer的内存分配不是在V8的堆内存中,而是在C++层面实现内存的申请的。Node采用了slab分配机制,一种动态内存管理机制。

简单而言,slab是一块申请好的固定大小的内存区域,具有3种状态。

  • full:完全分配状态
  • partial:部分分配状态
  • empty:没有被分配状态

并且Node以8KB为界限来区分Buffer是小对象还是大对象,从而采用不同的分配方法。

小Buffer对象一般都是尽量占满slab单元,slab单元不够的话,就会创建新的slab单元

大Buffer对象则是独占整个slab单元(SlowBuffer对象)。

 

posted @ 2018-08-05 22:57  汕大小吴  阅读(405)  评论(0编辑  收藏  举报