学习笔记GAN001:生成式对抗网络，只需10步，从零开始到调试
摘要：生成式对抗网络(gennerative adversarial network,GAN)，目前最火的非监督深度学习。一个生成网络无中生有，一个判别网络推动进化。学技术，不先着急看书看文章。先把Demo跑起来，顺利进入断点调试。这样就可以边学习边修改边验证，亲自下手参与调试，会比只是当个看客，更有兴趣
阅读全文
学习笔记TF051:生成式对抗网络
摘要：生成式对抗网络(gennerative adversarial network,GAN)，谷歌2014年提出网络模型。灵感自二人博弈的零和博弈，目前最火的非监督深度学习。GAN之父，Ian J.Goodfellow，公认人工智能顶级专家。 原理。生成式对搞网络包含一个生成模型(generative
阅读全文
学习笔记TF050:TensorFlow源代码解析
摘要：TensorFlow目录结构。 ACKNOWLEDGMENTS #TensorFlow版本声明 ADOPTERS.md #使用TensorFlow的人员或组织列表 AUTHORS #TensorFlow作者的官方列表 BUILD CONTRIBUTING.md #TensorFlow贡献指导 ISS
阅读全文
学习笔记TF049:TensorFlow 模型存储加载、队列线程、加载数据、自定义操作
摘要：生成检查点文件(chekpoint file)，扩展名.ckpt，tf.train.Saver对象调用Saver.save()生成。包含权重和其他程序定义变量，不包含图结构。另一程序使用，需要重新创建图形结构，告诉TensorFlow如何处理权重。生成图协议文件(graph proto file)，
阅读全文
学习笔记TF048:TensorFlow 系统架构、设计理念、编程模型、API、作用域、批标准化、神经元函数优化
摘要：系统架构。自底向上，设备层、网络层、数据操作层、图计算层、API层、应用层。核心层，设备层、网络层、数据操作层、图计算层。最下层是网络通信层和设备管理层。网络通信层包括gRPC(google Remote Procedure Call Protocol)和远程直接数据存取(Remote Direct
阅读全文
学习笔记TF047:PlayGround、TensorBoard
摘要：PlayGround。http://playground.tensorflow.org 。教学目的简单神经网络在线演示、实验图形化平台。可视化神经网络训练过程。在浏览器训练神经网络。界面，数据(DATA)、特征(FEATURES)、神经网络隐藏层(HIDDEN LAYERS)、层中连接线、输出(OU
阅读全文
学习笔记TF046:TensoFlow开发环境，Mac、Ubuntu/Linux、Windows，CPU版本、GPU版本
摘要：下载TensorFlow https://github.com/tensorflow/tensorflow/tree/v1.1.0 。Tags选择版本，下载解压。 pip安装。pip，Python包管理工具，PyPI(Python Packet Index) https://pypi.python.
阅读全文
学习笔记TF045:人工智能、深度学习、TensorFlow、比赛、公司
摘要：人工智能，用计算机实现人类智能。机器通过大量训练数据训练，程序不断自我学习、修正训练模型。模型本质，一堆参数，描述业务特点。机器学习和深度学习(结合深度神经网络)。 传统计算机器下棋，贪婪算法，Alpha-Beta修剪法配合Min-Max算法。AlphaGo，蒙特卡洛树搜索法(Monte Carlo
阅读全文
学习笔记TF044:TF.Contrib组件、统计分布、Layer、性能分析器tfprof
摘要：TF.Contrib，开源社区贡献，新功能，内外部测试，根据反馈意见改进性能，改善API友好度，API稳定后，移到TensorFlow核心模块。生产代码，以最新官方教程和API指南参考。 统计分布。TF.contrib.ditributions模块，Bernoulli、Beta、Binomial、G
阅读全文
学习笔记TF043:TF.Learn 机器学习Estimator、DataFrame、监督器Monitors
摘要：线性、逻辑回归。input_fn()建立简单两个特征列数据，用特证列API建立特征列。特征列传入LinearClassifier建立逻辑回归分类器，fit()、evaluate()函数，get_variable_names()得到所有模型变量名称。可以使用自定义优化函数，tf.train.FtrlO
阅读全文
学习笔记TF042:TF.Learn、分布式Estimator、深度学习Estimator
摘要：TF.Learn，TensorFlow重要模块，各种类型深度学习及流行机器学习算法。TensorFlow官方Scikit Flow项目迁移，谷歌员工Illia Polosukhin、唐源发起。Scikit-learn代码风格，帮助数据科学从业者更好、更快适应接受TensorFlow代码。囊括许多Te
阅读全文
学习笔记TF041:分布式并行
摘要：TensorFlow分布式并行基于gRPC通信框架，一个master负责创建Session，多个worker负责执行计算图任务。 先创建TensorFlow Cluster对象，包含一组task(每个task一台独立机器)，分布式执行TensorFlow计算图。一个Cluster切分多个job，一个
阅读全文
学习笔记TF040:多GPU并行
摘要：TensorFlow并行，模型并行，数据并行。模型并行根据不同模型设计不同并行方式，模型不同计算节点放在不同硬伯上资源运算。数据并行，比较通用简便实现大规模并行方式，同时使用多个硬件资源计算不同batch数据梯度，汇总梯度全局参数更新。 数据并行，多块GPU同时训练多个batch数据，运行在每块GP
阅读全文
学习笔记TF039:TensorBoard
摘要：首先向大家和《TensorFlow实战》的作者说句不好意思。我现在看的书是《TensorFlow实战》。但从TF024开始，我在学习笔记的参考资料里一直写的是《TensorFlow实践》，我自己粗心搞错了，希望不至于对大家造成太多误导。 TensorBoard，TensorFlow官方可视化工具。展
阅读全文
学习笔记TF038:实现估值网络
摘要：Q-Learning，学习Action对应期望值(Expected Utility)。1989年，Watkins提出。收敛性，1992年，Watkins和Dayan共同证明。学习期望价值，从当前一步到所有后续步骤，总期望获取最大价值(Q值、Value)。Action->Q函数，最佳策略，在每个sta
阅读全文
学习笔记TF037:实现强化学习策略网络
摘要：强化学习(Reinforcement Learing)，机器学习重要分支，解决连续决策问题。强化学习问题三概念，环境状态(Environment State)、行动(Action)、奖励(Reward)，目标获得最多累计奖励。强化学习模型根据环境状态、行动和奖励，学习出最佳策略，以最终结果为目标，不
阅读全文
学习笔记TF036:实现Bidirectional LSTM Classifier
摘要：双向循环神经网络(Bidirectional Recurrent Neural Networks,Bi-RNN)，Schuster、Paliwal，1997年首次提出，和LSTM同年。Bi-RNN，增加RNN可利用信息。普通MLP，数据长度有限制。RNN，可以处理不固定长度时序数据，无法利用历史输入
阅读全文
学习笔记TF035:实现基于LSTM语言模型
摘要：神经结构进步、GPU深度学习训练效率突破。RNN，时间序列数据有效，每个神经元通过内部组件保存输入信息。 卷积神经网络，图像分类，无法对视频每帧图像发生事情关联分析，无法利用前帧图像信息。RNN最大特点，神经元某些输出作为输入再次传输到神经元，可以利用之前信息。 xt是RNN输入，A是RNN节点，h
阅读全文
浙公网安备 33010602011771号