• 博客园logo
  • 会员
  • 众包
  • 新闻
  • 博问
  • 闪存
  • 赞助商
  • HarmonyOS
  • Chat2DB
    • 搜索
      所有博客
    • 搜索
      当前博客
  • 写随笔 我的博客 短消息 简洁模式
    用户头像
    我的博客 我的园子 账号设置 会员中心 简洁模式 ... 退出登录
    注册 登录
利炳根
敲代码、学日语，不做任何付费咨询
博客园 | 首页 | 新随笔 | 新文章 | 联系 | 订阅 订阅 | 管理
上一页 1 2 3 下一页

2017年9月9日

学习笔记GAN003:GAN、DCGAN、CGAN、InfoGAN
摘要： ​GAN应用集中在图像生成，NLP、Robt Learning也有拓展。类似于NLP中的Actor-Critic。 https://arxiv.org/pdf/1610.01945.pdf 。 Generative Adversarial Nets。构建两个网络，一个G生成网络，一个D区分网络。训练 阅读全文
posted @ 2017-09-09 14:05 利炳根 阅读(2204) 评论(0) 推荐(0)
 
 

2017年9月4日

学习笔记GAN002:DCGAN
摘要： Ian J. Goodfellow 论文：https://arxiv.org/abs/1406.2661 两个网络：G(Generator)，生成网络，接收随机噪声Z，通过噪声生成样本，G(z)。D(Dicriminator)，判别网络，判别样本是否真实，输入样本x，输出D(x)代表x真实概率，如果 阅读全文
posted @ 2017-09-04 22:39 利炳根 阅读(923) 评论(0) 推荐(0)
 
 

2017年8月26日

学习笔记GAN001:生成式对抗网络，只需10步，从零开始到调试
摘要： 生成式对抗网络(gennerative adversarial network,GAN)，目前最火的非监督深度学习。一个生成网络无中生有，一个判别网络推动进化。学技术，不先着急看书看文章。先把Demo跑起来，顺利进入断点调试。这样就可以边学习边修改边验证，亲自下手参与调试，会比只是当个看客，更有兴趣 阅读全文
posted @ 2017-08-26 16:11 利炳根 阅读(2364) 评论(0) 推荐(0)
 
 

2017年8月24日

学习笔记TF051:生成式对抗网络
摘要： 生成式对抗网络(gennerative adversarial network,GAN)，谷歌2014年提出网络模型。灵感自二人博弈的零和博弈，目前最火的非监督深度学习。GAN之父，Ian J.Goodfellow，公认人工智能顶级专家。 原理。生成式对搞网络包含一个生成模型(generative 阅读全文
posted @ 2017-08-24 02:49 利炳根 阅读(1483) 评论(0) 推荐(0)
 
学习笔记TF050:TensorFlow源代码解析
摘要： TensorFlow目录结构。 ACKNOWLEDGMENTS #TensorFlow版本声明 ADOPTERS.md #使用TensorFlow的人员或组织列表 AUTHORS #TensorFlow作者的官方列表 BUILD CONTRIBUTING.md #TensorFlow贡献指导 ISS 阅读全文
posted @ 2017-08-24 02:37 利炳根 阅读(3062) 评论(0) 推荐(0)
 
 

2017年8月23日

学习笔记TF049:TensorFlow 模型存储加载、队列线程、加载数据、自定义操作
摘要： 生成检查点文件(chekpoint file)，扩展名.ckpt，tf.train.Saver对象调用Saver.save()生成。包含权重和其他程序定义变量，不包含图结构。另一程序使用，需要重新创建图形结构，告诉TensorFlow如何处理权重。生成图协议文件(graph proto file)， 阅读全文
posted @ 2017-08-23 08:46 利炳根 阅读(4183) 评论(0) 推荐(1)
 
 

2017年8月20日

学习笔记TF048:TensorFlow 系统架构、设计理念、编程模型、API、作用域、批标准化、神经元函数优化
摘要： 系统架构。自底向上，设备层、网络层、数据操作层、图计算层、API层、应用层。核心层，设备层、网络层、数据操作层、图计算层。最下层是网络通信层和设备管理层。网络通信层包括gRPC(google Remote Procedure Call Protocol)和远程直接数据存取(Remote Direct 阅读全文
posted @ 2017-08-20 11:43 利炳根 阅读(559) 评论(0) 推荐(0)
 
学习笔记TF047:PlayGround、TensorBoard
摘要： PlayGround。http://playground.tensorflow.org 。教学目的简单神经网络在线演示、实验图形化平台。可视化神经网络训练过程。在浏览器训练神经网络。界面，数据(DATA)、特征(FEATURES)、神经网络隐藏层(HIDDEN LAYERS)、层中连接线、输出(OU 阅读全文
posted @ 2017-08-20 11:38 利炳根 阅读(1058) 评论(0) 推荐(0)
 
学习笔记TF046:TensoFlow开发环境，Mac、Ubuntu/Linux、Windows，CPU版本、GPU版本
摘要： 下载TensorFlow https://github.com/tensorflow/tensorflow/tree/v1.1.0 。Tags选择版本，下载解压。 pip安装。pip，Python包管理工具，PyPI(Python Packet Index) https://pypi.python. 阅读全文
posted @ 2017-08-20 11:35 利炳根 阅读(765) 评论(0) 推荐(0)
 
学习笔记TF045:人工智能、深度学习、TensorFlow、比赛、公司
摘要： 人工智能，用计算机实现人类智能。机器通过大量训练数据训练，程序不断自我学习、修正训练模型。模型本质，一堆参数，描述业务特点。机器学习和深度学习(结合深度神经网络)。 传统计算机器下棋，贪婪算法，Alpha-Beta修剪法配合Min-Max算法。AlphaGo，蒙特卡洛树搜索法(Monte Carlo 阅读全文
posted @ 2017-08-20 11:33 利炳根 阅读(1287) 评论(0) 推荐(0)
 
学习笔记TF044:TF.Contrib组件、统计分布、Layer、性能分析器tfprof
摘要： TF.Contrib，开源社区贡献，新功能，内外部测试，根据反馈意见改进性能，改善API友好度，API稳定后，移到TensorFlow核心模块。生产代码，以最新官方教程和API指南参考。 统计分布。TF.contrib.ditributions模块，Bernoulli、Beta、Binomial、G 阅读全文
posted @ 2017-08-20 11:30 利炳根 阅读(2545) 评论(0) 推荐(0)
 
学习笔记TF043:TF.Learn 机器学习Estimator、DataFrame、监督器Monitors
摘要： 线性、逻辑回归。input_fn()建立简单两个特征列数据，用特证列API建立特征列。特征列传入LinearClassifier建立逻辑回归分类器，fit()、evaluate()函数，get_variable_names()得到所有模型变量名称。可以使用自定义优化函数，tf.train.FtrlO 阅读全文
posted @ 2017-08-20 11:26 利炳根 阅读(930) 评论(0) 推荐(0)
 
学习笔记TF042:TF.Learn、分布式Estimator、深度学习Estimator
摘要： TF.Learn，TensorFlow重要模块，各种类型深度学习及流行机器学习算法。TensorFlow官方Scikit Flow项目迁移，谷歌员工Illia Polosukhin、唐源发起。Scikit-learn代码风格，帮助数据科学从业者更好、更快适应接受TensorFlow代码。囊括许多Te 阅读全文
posted @ 2017-08-20 11:20 利炳根 阅读(3764) 评论(0) 推荐(0)
 
学习笔记TF041:分布式并行
摘要： TensorFlow分布式并行基于gRPC通信框架，一个master负责创建Session，多个worker负责执行计算图任务。 先创建TensorFlow Cluster对象，包含一组task(每个task一台独立机器)，分布式执行TensorFlow计算图。一个Cluster切分多个job，一个 阅读全文
posted @ 2017-08-20 11:16 利炳根 阅读(3881) 评论(0) 推荐(0)
 
 

2017年8月12日

学习笔记TF040:多GPU并行
摘要： TensorFlow并行，模型并行，数据并行。模型并行根据不同模型设计不同并行方式，模型不同计算节点放在不同硬伯上资源运算。数据并行，比较通用简便实现大规模并行方式，同时使用多个硬件资源计算不同batch数据梯度，汇总梯度全局参数更新。 数据并行，多块GPU同时训练多个batch数据，运行在每块GP 阅读全文
posted @ 2017-08-12 11:15 利炳根 阅读(6262) 评论(0) 推荐(0)
 
学习笔记TF039:TensorBoard
摘要： 首先向大家和《TensorFlow实战》的作者说句不好意思。我现在看的书是《TensorFlow实战》。但从TF024开始，我在学习笔记的参考资料里一直写的是《TensorFlow实践》，我自己粗心搞错了，希望不至于对大家造成太多误导。 TensorBoard，TensorFlow官方可视化工具。展 阅读全文
posted @ 2017-08-12 11:13 利炳根 阅读(1208) 评论(0) 推荐(0)
 
学习笔记TF038:实现估值网络
摘要： Q-Learning，学习Action对应期望值(Expected Utility)。1989年，Watkins提出。收敛性，1992年，Watkins和Dayan共同证明。学习期望价值，从当前一步到所有后续步骤，总期望获取最大价值(Q值、Value)。Action->Q函数，最佳策略，在每个sta 阅读全文
posted @ 2017-08-12 11:11 利炳根 阅读(643) 评论(0) 推荐(0)
 
学习笔记TF037:实现强化学习策略网络
摘要： 强化学习(Reinforcement Learing)，机器学习重要分支，解决连续决策问题。强化学习问题三概念，环境状态(Environment State)、行动(Action)、奖励(Reward)，目标获得最多累计奖励。强化学习模型根据环境状态、行动和奖励，学习出最佳策略，以最终结果为目标，不 阅读全文
posted @ 2017-08-12 11:09 利炳根 阅读(3311) 评论(0) 推荐(0)
 
学习笔记TF036:实现Bidirectional LSTM Classifier
摘要： 双向循环神经网络(Bidirectional Recurrent Neural Networks,Bi-RNN)，Schuster、Paliwal，1997年首次提出，和LSTM同年。Bi-RNN，增加RNN可利用信息。普通MLP，数据长度有限制。RNN，可以处理不固定长度时序数据，无法利用历史输入 阅读全文
posted @ 2017-08-12 11:07 利炳根 阅读(4369) 评论(0) 推荐(0)
 
学习笔记TF035:实现基于LSTM语言模型
摘要： 神经结构进步、GPU深度学习训练效率突破。RNN，时间序列数据有效，每个神经元通过内部组件保存输入信息。 卷积神经网络，图像分类，无法对视频每帧图像发生事情关联分析，无法利用前帧图像信息。RNN最大特点，神经元某些输出作为输入再次传输到神经元，可以利用之前信息。 xt是RNN输入，A是RNN节点，h 阅读全文
posted @ 2017-08-12 11:05 利炳根 阅读(2338) 评论(0) 推荐(0)
 
 

2017年7月30日

学习笔记TF034:实现Word2Vec
摘要： 卷积神经网络发展趋势。Perceptron(感知机)，1957年，Frank Resenblatt提出，始祖。Neocognitron(神经认知机)，多层级神经网络，日本科学家Kunihiko fukushima，20世纪80年代提出，一定程度视觉认知功能，启发卷积神经网络。LeNet-5，CNN之 阅读全文
posted @ 2017-07-30 09:56 利炳根 阅读(3384) 评论(1) 推荐(0)
 
 

2017年7月29日

学习笔记TF033:实现ResNet
摘要： ResNet(Residual Neural Network)，微软研究院 Kaiming He等4名华人提出。通过Residual Unit训练152层深神经网络，ILSVRC 2015比赛冠军，3.57% top-5错误率，参数量比VGGNet低，效果非常突出。ResNet结构，极快加速超深神经 阅读全文
posted @ 2017-07-29 00:30 利炳根 阅读(3490) 评论(0) 推荐(0)
 
 

2017年7月28日

学习笔记TF032:实现Google Inception Net
摘要： Google Inception Net，ILSVRC 2014比赛第一名。控制计算量、参数量，分类性能非常好。V1，top-5错误率6.67%，22层，15亿次浮点运算，500万参数(AlexNet 6000万)。V1降低参数量目的，参数越多模型越庞大，需数据量越大，高质量数据昂贵；参数越多，耗费 阅读全文
posted @ 2017-07-28 00:33 利炳根 阅读(1671) 评论(0) 推荐(0)
 
 

2017年7月26日

学习笔记TF031:实现VGGNet
摘要： VGGNet，牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司一起研发，深度卷积神经网络。VGGNet反复堆叠3x3小型卷积核和2x2最大池化层，成功构筑16~19层深卷积神经网络。比state-of-the-art网络结构，错误率幅下降，取得I 阅读全文
posted @ 2017-07-26 00:58 利炳根 阅读(3551) 评论(0) 推荐(0)
 
 

2017年7月25日

学习笔记TF030:实现AlexNet
摘要： ILSVRC(ImageNet Large Scale Visual Recognition Challenge)分类比赛。AlexNet 2012年冠军(top-5错误率16.4%，额外数据15.3%，8层神经网络)。VGGNet 2014年亚军(top-5错误率7.3%，19层神经网络)。Goo 阅读全文
posted @ 2017-07-25 07:37 利炳根 阅读(1838) 评论(0) 推荐(0)
 
 

2017年7月24日

学习笔记TF029:实现进阶卷积网络
摘要： 经典数据集CIFAR-10,60000张32x32彩色图像，训练集50000张，测试集10000张。标注10类，每类图片6000张。airplance、automobile、bird、cat、deer、dog、frog、horse、ship、truck。没有任何重叠。CIFAR-100,100类标注 阅读全文
posted @ 2017-07-24 21:07 利炳根 阅读(2631) 评论(0) 推荐(0)
 
学习笔记TF028:实现简单卷积网络
摘要： 载入MNIST数据集。创建默认Interactive Session。 初始化函数，权重制造随机噪声打破完全对称。截断正态分布噪声，标准差设0.1。ReLU，偏置加小正值(0.1)，避免死亡节点(dead neurons)。 卷积层函数，tf.nn.conv2d，TensorFlow 2 维卷积函数 阅读全文
posted @ 2017-07-24 21:05 利炳根 阅读(725) 评论(0) 推荐(0)
 
 

2017年7月23日

学习笔记TF027:卷积神经网络
摘要： 卷积神经网络(Convolutional Neural Network,CNN)，可以解决图像识别、时间序列信息问题。深度学习之前，借助SIFT、HoG等算法提取特征，集合SVM等机器学习算法识别图像。 SIFT，缩放、平移、旋转、视角转变、亮度调整畸变的一定程度内，具有不变性。有局限性，Image 阅读全文
posted @ 2017-07-23 14:09 利炳根 阅读(405) 评论(0) 推荐(0)
 
 

2017年7月22日

学习笔记TF026:多层感知机
摘要： 隐含层，指除输入、输出层外，的中间层。输入、输出层对外可见。隐含层对外不可见。理论上，只要隐含层节点足够多，只有一个隐含层，神经网络可以拟合任意函数。隐含层越多，越容易拟合复杂函数。拟合复杂函数，所需隐含节点数，随隐含层数量增多指数下降。 过拟合，模型预测准确率在训练集上升，在测试集下降。泛化性不好 阅读全文
posted @ 2017-07-22 14:22 利炳根 阅读(943) 评论(0) 推荐(0)
 
 

2017年7月9日

学习笔记TF025:自编码器
摘要： 传统机器学习依赖良好的特征工程。深度学习解决有效特征难人工提取问题。无监督学习，不需要标注数据，学习数据内容组织形式，提取频繁出现特征，逐层抽象，从简单到复杂，从微观到宏观。 稀疏编码(Sparse Coding)，基本结构组合。自编码器(AutoEncoder)，用自身高阶特征编码自己。期望输入/ 阅读全文
posted @ 2017-07-09 23:36 利炳根 阅读(1262) 评论(0) 推荐(0)
 
学习笔记TF024:TensorFlow实现Softmax Regression(回归)识别手写数字
摘要： TensorFlow实现Softmax Regression(回归)识别手写数字。MNIST(Mixed National Institute of Standards and Technology database)，简单机器视觉数据集，28X28像素手写数字，只有灰度值信息，空白部分为0,笔迹根 阅读全文
posted @ 2017-07-09 23:34 利炳根 阅读(1525) 评论(0) 推荐(0)
 
 

2017年6月9日

学习笔记TF023:下载、缓存、属性字典、惰性属性、覆盖数据流图、资源
摘要： 确保目录结构存在。每次创建文件，确保父目录已经存在。确保指定路径全部或部分目录已经存在。创建沿指定路径上不存在目录。 下载函数，如果文件名未指定，从URL解析。下载文件，返回本地文件系统文件名。如果文件存在，不下载。如果文件未指定，从URL解析，返回filepath 。实际下载前，检查下载位置是否有 阅读全文
posted @ 2017-06-09 12:06 利炳根 阅读(377) 评论(0) 推荐(0)
 
学习笔记TF022:产品环境模型部署、Docker镜像、Bazel工作区、导出模型、服务器、客户端
摘要： 产品环境模型部署，创建简单Web APP，用户上传图像，运行Inception模型，实现图像自动分类。 搭建TensorFlow服务开发环境。安装Docker，https://docs.docker.com/engine/installation/ 。用配置文件在本地创建Docker镜像，docke 阅读全文
posted @ 2017-06-09 12:05 利炳根 阅读(1175) 评论(0) 推荐(0)
 
 

2017年6月5日

学习笔记TF021:预测编码、字符级语言建模、ArXiv摘要
摘要： 序列标注(sequence labelling)，输入序列每一帧预测一个类别。OCR(Optical Character Recognition 光学字符识别)。 MIT口语系统研究组Rob Kassel收集，斯坦福大学人工智能实验室Ben Taskar预处理OCR数据集(http://ai.sta 阅读全文
posted @ 2017-06-05 09:05 利炳根 阅读(602) 评论(0) 推荐(0)
 
学习笔记TF020:序列标注、手写小写字母OCR数据集、双向RNN
摘要： 序列标注(sequence labelling)，输入序列每一帧预测一个类别。OCR(Optical Character Recognition 光学字符识别)。 MIT口语系统研究组Rob Kassel收集，斯坦福大学人工智能实验室Ben Taskar预处理OCR数据集(http://ai.sta 阅读全文
posted @ 2017-06-05 08:57 利炳根 阅读(2179) 评论(0) 推荐(1)
 
 

2017年6月4日

学习笔记TF019:序列分类、IMDB影评分类
摘要： 序列分类，预测整个输入序列的类别标签。情绪分析，预测用户撰写文字话题态度。预测选举结果或产品、电影评分。 国际电影数据库(International Movie Database)影评数据集。目标值二元，正面或负面。语言大量否定、反语、模糊，不能只看单词是否出现。构建词向量循环网络，逐个单词查看每条 阅读全文
posted @ 2017-06-04 09:35 利炳根 阅读(984) 评论(0) 推荐(0)
 
 

2017年6月3日

学习笔记TF018:词向量、维基百科语料库训练词向量模型
摘要： 词向量嵌入需要高效率处理大规模文本语料库。word2vec。简单方式，词送入独热编码(one-hot encoding)学习系统，长度为词汇表长度的向量，词语对应位置元素为1,其余元素为0。向量维数很高，无法刻画不同词语的语义关联。共生关系(co-occurrence)表示单词，解决语义关联，遍历大 阅读全文
posted @ 2017-06-03 23:01 利炳根 阅读(1375) 评论(0) 推荐(0)
 
 

2017年5月31日

学习笔记TF017:自然语言处理、RNN、LSTM
摘要： 自然语言处理 (NLP)问题都是序列化的。前馈神经网络，在单次前馈中对到来数据处理，假定所有输入独立，模式丢失。循环神经网络(recurrent neural network,RNN)对时间显式建模神经网络。RNN神经元可接收其他神经元加权输入。RNN神经元可与更高层建立连接，也可与更低层建立连接。 阅读全文
posted @ 2017-05-31 07:10 利炳根 阅读(601) 评论(0) 推荐(0)
 
 

2017年5月30日

学习笔记TF016:CNN实现、数据集、TFRecord、加载图像、模型、训练、调试
摘要： AlexNet(Alex Krizhevsky,ILSVRC2012冠军)适合做图像分类。层自左向右、自上向下读取，关联层分为一组，高度、宽度减小，深度增加。深度增加减少网络计算量。 训练模型数据集 Stanford计算机视觉站点Stanford Dogs http://vision.stanfor 阅读全文
posted @ 2017-05-30 20:04 利炳根 阅读(4321) 评论(0) 推荐(0)
 
 

2017年5月28日

学习笔记TF015:加载图像、图像格式、图像操作、颜色
摘要： TensorFlow支持JPG、PNG图像格式，RGB、RGBA颜色空间。图像用与图像尺寸相同(height*width*chnanel)张量表示。通道表示为包含每个通道颜色数量标量秩1张量。图像所有像素存在磁盘文件，需要被加载到内存。 图像加载与二进制文件相同。图像需要解码。输入生成器(tf.tr 阅读全文
posted @ 2017-05-28 07:42 利炳根 阅读(11720) 评论(0) 推荐(1)
 
 
上一页 1 2 3 下一页

公告


博客园  ©  2004-2025
浙公网安备 33010602011771号 浙ICP备2021040463号-3