[图解tensorflow源码] TF系统概述篇

Rendezvous

1. 定义在core/framework/rendezvous.h

2. A Rendezvous is an abstraction for passing a Tensor from a producer to a consumer where the consumer may safely request the Tensor before or after it has been produced. A producer never blocks

when using a Rendezvous. A consumer has the choice of making a blocking call or providing a callback: in either case,

the consumer receives the Tensor as soon as it is available.

(简而言之：Nonblocking send, blocking receive)

3. A Rendezvous key encodes a single <producer, consumer> pair. It is an error to call Send() or Recv*() more than once with the same key.

4. 在消息通信机制中，消息传递涉及到信箱容量问题。一个极端的情况是信箱容量为0，那么，当send在receive之前执行的话，则发送进程被阻塞，直到receive做完。

执行receive时信件可从发送者直接拷贝到接收者，不用任何中间缓冲。类似的，如果receive先被执行，接受者将被阻塞直到send发生。上述策略称为回合（rendezvous）原则。

5. tensorflow 的消息传递属于【发送不阻塞，接收阻塞】，实现场景有以下两种：

> LocalRendezvous （本地消息传递）

> RpcRemoteRendezvous (分布式消息传递)

> 另外一种特殊的通信形式是IntraProcessRendezvous (rendezvous_mgr.h)，用于本地不同设备间通信。

Buffering of Tensor values is delegated to a "local" Rendezvous obtained from NewLocalRendezvous().

This class just adds functionality to coordinate multiple process-local devices.

6. 在Op Kernels中，有SendOp和RecvOp两个类(kernels/sendrecv_ops.h)，与Rendezvous结合使用。

7. 【Each node:port specified in inputs is replaced with a feed node, which will pick up the provided input tensor from specially-initialized entries in a Rendezvous object used for the Run call】(from tensorflow white paper)

minix消息传递中rendezvous概念

符号编程

MXNet设计笔记之：深度学习的编程模式比较

命令式（灵活）

符号式（高效）

前向计算图（显式） + 反向计算图（隐式）

Session

## 说明：A Session instance lets a caller drive a TensorFlow graph computation
## relate files: /public/session.h, /comm_rt/[[session.cc session_factory.cc session_factory.h session_options.cc session_state.cc]]
## 客户程序通过会话（Session）与TensorFlow系统进行交互。在Session建立时运算流图初始状态为空图。为创建运算流图，TensorFlow通过Session接口的

Extend函数，把额外的节点和边扩充到当前的运算流图中。

Run()是Session接口中另一个重要的函数。Run()函数的参数包括最终运算输出的变量名，及运算流图中涉及到的张量运算集。

为得到所期望的输出结果，运行过程中TensorFlow对所有节点进行传递闭包运算。并遵照节点间的运算依赖关系进行排序（具体细节将在3.1节中介绍）。

在大部分的TensorFlow应用中，一般构建一次Session，然后通过调用Run()对整个运算流图或是部分独立的子图进行多次运算。

表（1）TensorFlow核心库中的部分运算

附：传递闭包：即在数学中，在集合 X 上的二元关系 R 的传递闭包是包含 R 的 X 上的最小的传递关系。

设备及内存分配

tensorflow设备内存分配算法解析

1. tensorflow设备内存管理模块实现了一个best-fit with coalescing （bfc）算法

> bfc选择合适内存块的原则是：找到chunk size大于等于x的最小的那个空闲内存块

2. 每个 worker 负责一个或者多个设备，每个设备有一个设备类型和一个名字。设备名字由识别设备类型的部分，在 worker 中的设备索引，以及在分布式设定中，worker 的 job和任务（或者 localhost 当设备是和进程在同一机器时）的标志构成。一些例子如/job:localhost/device:cpu:0 或者 /job:worker/task:17/device:gpu:3。每个设备对象负责管理分配和解除分配设备内存，对在 TensorFlow 实现中的更高层请求任意 kernel 的执行调度管理。

3. tensorflow中，基类Device的子类有【GPUDevice, CPUDevice(即ThreadPoolDevice)， GPUCompatibleCPUDevice】

Graph

Graph describes a set of computations that are to be performed, as well as the dependencies between those computations. The basic model is a DAG (directed acyclic graph) with

* internal nodes representing computational operations to be performed;

* edges represent dependencies, indicating the target may only be executed once the source has completed;

> 正常边，正常边上可以流动数据，即正常边就是tensor

> 特殊边，又称作控制依赖，(control dependencies)

* predefined "source" (start) and "sink" (finish) nodes -- the source should be the only node that doesn't depend on anything, and the sink should be the only node that nothing depends on.

* graph优化：

Common Subexpression Elimination （CSE，公共子表达式消除）

如果一个表达式E已经计算过了，并且从先前的计算到现在的E中的变量都没有发生变化，那么E的此次出现就成为了公共子表达式。
例如：x=(a+c)*12+(c+a)*2; 可优化为 x=E*14

参考：编译器常用优化方法 Introduction to Compilers

* Control flow graph (CFG)

A control flow graph (CFG) in computer science is a representation, using graph notation, of all paths that might be traversed through a program during its execution.

Gradients