TensorFlow白皮书

关键元素定义

1) Graph 定义计算流,包括操作和值的具体类型
2) Operation 定义操作,包含一些属性,用于操作的变体。比如不同种类的数字相加
3) Kernel 定义操作的具体实现,区分平台,不同平台的kernel不同
4) Session 与tensorflow交互,扩展图和执行图的接口
5) Variables 包含状态的变量,持久化可变tensor 

TensorFlow实现

TensorFlow的实现包括前端和后端
前端主要是客户端定义图和执行图的计算,当前主要是python和C++的接口
后端实现包括后端进程,这些进程可以访问计算设备,比如CPU和GPU。
计算设备是TensorFlow计算的核心抽象,每个计算设备负责内存管理和组织具体内核的计算。
Tensor的实现是带有类型的多维数组,由对应的计算设备管理它的存储,通过引用计数的方式管理释放。
有两种模式,本地和分布式。

本地模式 单计算设备

最简单的场景。按照图的依赖计算各个节点,具体作法,将依赖计数为0的计算节点放进待计算的队列当中。每计算完一个节点,更新所有依赖它的节点的依赖计数。

本地模式 多计算设备

需要做两件事情

  1. 确定每个计算节点放到哪个设备上
  2. 设备间的通信

  3. 基于贪婪实验的方法,从源节点一直比较然后添加进device。
  4. 插入两个节点,发送和接受,完成跨设备间通信。并且,对于同一份数据会合并发送。

分布式模式

和多设备很相似,只是跨设备间通信采用TCP或者RDMA方式。
通过checkpoint进行容错,当错误发生,会从头开始训练。

扩展

自动梯度计算
反向传播,构造对应的图。

优化

  1. 自己定义好放置设备,控制数据交换和内存使用
  2. 异步内核,减少线程数
  3. 内核计算优化,采用对应的库完成
  4. 图优化:相同子计算合并
  5. 精度压缩
posted @ 2019-08-27 13:29  Alexanderhaha  阅读(...)  评论(...编辑  收藏