从零开始在iPhone上运行视频流实时预测模型应用，只需10步
摘要：1､买一台苹果电脑，建议MacBook Pro。 2､安装Xcode。 3､克隆TensorFlow:https://github.com/tensorflow/tensorflow.git 4､下载TensorFlow核心静态库，运行:tensorflow/contrib/makefiles/do
阅读全文
学习笔记DL008:概率论，随机变量，概率分布，边缘概率，条件概率，期望、方差、协方差
摘要：概率和信息论。 概率论，表示不确定性声明数学框架。提供量化不确定性方法，提供导出新不确定性声明(statement)公理。人工智能领域，概率法则，AI系统推理，设计算法计算概率论导出表达式。概率和统计理论分析AI系统行为。概率论提出不确定声明，在不确定性存在情况下推理。信息论量化概率分布不确定性总量
阅读全文
学习笔记DL007:Moore-Penrose伪逆，迹运算，行列式，主成分分析PCA
摘要：Moore-Penrose伪逆(pseudoinverse)。 非方矩阵，逆矩阵没有定义。矩阵A的左逆B求解线性方程Ax=y。两边左乘左逆B，x=By。可能无法设计唯一映射将A映射到B。矩阵A行数大于列数，方程无解。矩阵A行数小于列数，矩阵有多个解。 矩阵A的伪逆A + =lim a->0 (A T
阅读全文
学习笔记DL006:特征分解，奇异值分解
摘要：特征分解。 整数分解质因素。 特征分解(eigendecomposition)，使用最广，矩阵分解一组特征向量、特征值。方阵𝑨的特征向量(eigenvector)，与𝑨相乘相当对该向量缩放非零向量𝑣，𝑨𝑣=λ𝑣。标量λ为特征向量对应特征值(eigenvalue)。左特征向量(left e
阅读全文
学习笔记DL005:线性相关、生成子空间，范数，特殊类型矩阵、向量
摘要：线性相关、生成子空间。 逆矩阵A⁽-1⁾存在，Ax=b 每个向量b恰好存在一个解。方程组，向量b某些值，可能不存在解，或者存在无限多个解。x、y是方程组的解，z=αx+(1-α)，α取任意实数。 A列向量看作从原点(origin，元素都是零的向量)出发的不同方向，确定有多少种方法到达向量b。向量x每
阅读全文
学习笔记DL004:标量、向量、矩阵、张量，矩阵、向量相乘，单位矩阵、逆矩阵
摘要：线性代数，面向连续数学，非离散数学。《The Matrix Cookbook》，Petersen and Pedersen，2006。Shilov(1977)。 标量、向量、矩阵、张量。 标量(scalar)。一个标量，一个单独的数。其他大部分对象是多个数的数组。斜体表示标量。小写变量名称。明确标量
阅读全文
学习笔记DL003:神经网络第二、三次浪潮，数据量、模型规模，精度、复杂度，对现实世界冲击
摘要：神经科学，依靠单一深度学习算法解决不同任务。视觉信号传送到听觉区域，大脑听学习处理区域学会“看”(Von Melchner et al., 2000)。计算单元互相作用变智能。新认知机(Fukushima,1980)，哺乳动物视觉系统结构，处理图片强大模型架构，现代卷积网络基础(LeCun et a
阅读全文
学习笔记DL002:AI、机器学习、表示学习、深度学习，第一次大衰退
摘要：AI早期成就，相对朴素形式化环境，不要求世界知识。如IBM深蓝(Deep Blue)国际象棋系统，1997，击败世界冠军Garry Kasparov(Hsu,2002)。国际象棋，简单领域，64个位置，严格限制方式移动32个棋子。可由简短、完全形式化规则列表描述，容易事先准备。抽象、形式化，是人类最
阅读全文
学习笔记DL001:数学符号、深度学习的概念
摘要：数学符号。 数和数组。𝑎，标量(整数或实数)。𝒂，向量。𝑨，矩阵。𝗔，张量。𝑰𝑛，𝑛行𝑛列单位矩阵。𝑰，维度蕴含上下文单位矩阵。𝑒⁽ⁿ⁾，标准基向量[0,…,0,10,…,0]，其中索引n处值为1。diag(𝒂)，对象方阵，其中对象元素由𝒂给定。a，标量随机变量。𝐚，向量随
阅读全文
学习笔记TF067:TensorFlow Serving、Flod、计算加速，机器学习评测体系，公开数据集
摘要：TensorFlow Serving https://tensorflow.github.io/serving/ 。 生产环境灵活、高性能机器学习模型服务系统。适合基于实际数据大规模运行，产生多个模型训练过程。可用于开发环境、生产环境。 模型生命周期管理。模型先数据训练，逐步产生初步模型，优化模型。
阅读全文
学习笔记TF066:TensorFlow移动端应用，iOS、Android系统实践
摘要：TensorFlow对Android、iOS、树莓派都提供移动端支持。 移动端应用原理。移动端、嵌入式设备应用深度学习方式，一模型运行在云端服务器，向服务器发送请求，接收服务器响应；二在本地运行模型，PC训练模型，放到移动端预测。向服务端请求数据可行性差，移动端资源稀缺。本地运行实时性更好。加速计算
阅读全文
学习笔记TF065:TensorFlowOnSpark
摘要：Hadoop生态大数据系统分为Yam、 HDFS、MapReduce计算框架。TensorFlow分布式相当于MapReduce计算框架，Kubernetes相当于Yam调度系统。TensorFlowOnSpark，利用远程直接内存访问(Remote Direct Memory Access,RDM
阅读全文
学习笔记TF064:TensorFlow Kubernetes
摘要：AlphaGo，每个实验1000个节点，每个节点4个GPU，4000 GPU。Siri，每个实验2个节点，8个GPU。AI研究，依赖海量数据计算，离性能计算资源。更大集群运行模型，把周级训练时间缩短到天级小时级。Kubernetes，应用最广泛容器集群管理工具，分布式TensorFlow监控、调度生
阅读全文
学习笔记TF063:TensorFlow Debugger
摘要：TensorFlow Debugger(tfdbg)，TensorFlow专用调试器。用断点、计算机图形化展现实时数据流，可视化运行TensorFlow图形内部结构、状态。有助训练推理调试模型错误。https://www.tensorflow.org/programmers_guide/debugg
阅读全文
学习笔记TF062:TensorFlow线性代数编译框架XLA
摘要：XLA(Accelerated Linear Algebra)，线性代数领域专用编译器(demain-specific compiler)，优化TensorFlow计算。即时(just-in-time,JIT)编译或提前(ahead-of-time,AOT)编译实现XLA，有助于硬件加速。XLA还在
阅读全文
学习笔记TF061:分布式TensorFlow，分布式原理、最佳实践
摘要：分布式TensorFlow由高性能gRPC库底层技术支持。Martin Abadi、Ashish Agarwal、Paul Barham论文《TensorFlow:Large-Scale Machine Learning on Heterogeneous Distributed Systems》。
阅读全文
学习笔记TF060:图像语音结合，看图说话
摘要：斯坦福大学人工智能实验室李飞飞教授，实现人工智能3要素：语法(syntax)、语义(semantics)、推理(inference)。语言、视觉。通过语法(语言语法解析、视觉三维结构解析)和语义(语言语义、视觉特体动作含义)作模型输入训练数据，实现推理能力，训练学习能力应用到工作，从新数据推断结论。
阅读全文
学习笔记TF059:自然语言处理、智能聊天机器人
摘要：自然语言处理，语音处理、文本处理。语音识别(speech recognition)，让计算机能够“听懂”人类语音，语音的文字信息“提取”。 日本富国生命保险公司花170万美元安装人工智能系统，客户语言转换文本，分析词正面或负面。智能客服是人工能智能公司研究重点。循环神经网络(recurrent ne
阅读全文
学习笔记TF058:人脸识别
摘要：人脸识别，基于人脸部特征信息识别身份的生物识别技术。摄像机、摄像头采集人脸图像或视频流，自动检测、跟踪图像中人脸，做脸部相关技术处理，人脸检测、人脸关键点检测、人脸验证等。《麻省理工科技评论》(MIT Technology Review)，2017年全球十大突破性技术榜单，支付宝“刷脸支付”(Pay
阅读全文
学习笔记TF057:TensorFlow MNIST，卷积神经网络、循环神经网络、无监督学习
摘要：MNIST 卷积神经网络。https://github.com/nlintz/TensorFlow-Tutorials/blob/master/05_convolutional_net.py 。TensorFlow搭建卷积神经网络(CNN)模型，训练MNIST数据集。 构建模型。 定义输入数据，预处
阅读全文
学习笔记TF056:TensorFlow MNIST，数据集、分类、可视化
摘要：MNIST(Mixed National Institute of Standards and Technology)http://yann.lecun.com/exdb/mnist/ ，入门级计算机视觉数据集，美国中学生手写数字。训练集6万张图片，测试集1万张图片。数字经过预处理、格式化，大小调整
阅读全文
学习笔记TF055:TensorFlow神经网络简单实现一元二次函数
摘要：TensorFlow运行方式。加载数据、定义超参数，构建网络，训练模型，评估模型、预测。 构造一个满足一元二次函数y=ax^2+b原始数据，构建最简单神经网络，包含输入层、隐藏层、输出层。TensorFlow学习隐藏层、输出层weights、biases。观察训练次数增加，损失值变化。 生成、加载数
阅读全文
学习笔记TF054:TFLearn、Keras
摘要：元框架(metaframework)。 TFLearn。模块化深度学习框架，更高级API，快速实验，完全透明兼容。 TFLearn实现AlexNet。https://github.com/tflearn/tflearn/blob/master/examples/images/alexnet.py牛津
阅读全文
学习笔记TF053:循环神经网络，TensorFlow Model Zoo，强化学习，深度森林，深度学习艺术
摘要：循环神经网络。https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3_NeuralNetworks/recurrent_network.py。 自然语言处理(natural language proces
阅读全文
浙公网安备 33010602011771号