| | | | |

2018年5月5日

摘要：神经网络。《Make Your Own Neural Network》，用非常通俗易懂描述讲解人工神经网络原理用代码实现，试验效果非常好。循环神经网络和LSTM。Christopher Olah http://colah.github.io/posts/2015-08-Understanding- 阅读全文

posted @ 2018-05-05 23:10 利炳根阅读(3015) 评论(0) 推荐(0)

学习笔记CB013: TensorFlow、TensorBoard、seq2seq

摘要： tensorflow基于图结构深度学习框架，内部通过session实现图和计算内核交互。 tensorflow基本数学运算用法。 import tensorflow as tf sess = tf.Session() a = tf.placeholder("float") b = tf.placeh 阅读全文

posted @ 2018-05-05 12:59 利炳根阅读(348) 评论(0) 推荐(0)

2018年5月1日

学习笔记CB012: LSTM 简单实现、完整实现、torch、小说训练word2vec lstm机器人

摘要：真正掌握一种算法，最实际的方法，完全手写出来。 LSTM（Long Short Tem Memory）特殊递归神经网络，神经元保存历史记忆，解决自然语言处理统计方法只能考虑最近n个词语而忽略更久前词语的问题。用途：word representation（embedding）(词语向量)、sequen 阅读全文

posted @ 2018-05-01 14:08 利炳根阅读(2492) 评论(0) 推荐(0)

2018年4月21日

学习笔记CB011:lucene搜索引擎库、IKAnalyzer中文切词工具、检索服务、查询索引、导流、word2vec

摘要：影视剧字幕聊天语料库特点，把影视剧说话内容一句一句以回车换行罗列三千多万条中国话，相邻第二句很可能是第一句最好回答。一个问句有很多种回答，可以根据相关程度以及历史聊天记录所有回答排序，找到最优，是一个搜索排序过程。 lucene+ik。lucene开源免费搜索引擎库，java语言开发。ik IKAn 阅读全文

posted @ 2018-04-21 09:15 利炳根阅读(358) 评论(0) 推荐(0)

2018年3月31日

学习笔记CB010:递归神经网络、LSTM、自动抓取字幕

摘要：递归神经网络可存储记忆神经网络，LSTM是其中一种，在NLP领域应用效果不错。递归神经网络（RNN），时间递归神经网络（recurrent neural network），结构递归神经网络（recursive neural network）。时间递归神经网络神经元间连接构成有向图，结构递归神经网络阅读全文

posted @ 2018-03-31 21:49 利炳根阅读(1214) 评论(0) 推荐(0)

2018年3月13日

学习笔记CB009:人工神经网络模型、手写数字识别、多层卷积网络、词向量、word2vec

摘要：人工神经网络，借鉴生物神经网络工作原理数学模型。由n个输入特征得出与输入特征几乎相同的n个结果，训练隐藏层得到意想不到信息。信息检索领域，模型训练合理排序模型，输入特征，文档质量、文档点击历史、文档前链数目、文档锚文本信息，为找特征隐藏信息，隐藏层神经元数目设置少于输入特征数目，经大量样本训练能还阅读全文

posted @ 2018-03-13 03:03 利炳根阅读(873) 评论(0) 推荐(0)

2018年3月12日

学习笔记CB008:词义消歧、有监督、无监督、语义角色标注、信息检索、TF-IDF、隐含语义索引模型

摘要：词义消歧，句子、篇章语义理解基础，必须解决。语言都有大量多种含义词汇。词义消歧，可通过机器学习方法解决。词义消歧有监督机器学习分类算法，判断词义所属分类。词义消歧无监督机器学习聚类算法，把词义聚成多类，每一类一种含义。有监督词义消歧方法。基于互信息词义消歧方法，两种语言对照，基于大量中英文对照语料阅读全文

posted @ 2018-03-12 00:34 利炳根阅读(882) 评论(0) 推荐(1)

2018年3月11日

学习笔记CB007:分词、命名实体识别、词性标注、句法分析树

摘要：中文分词把文本切分成词语，还可以反过来，把该拼一起的词再拼到一起，找到命名实体。概率图模型条件随机场适用观测值条件下决定随机变量有有限个取值情况。给定观察序列X，某个特定标记序列Y概率，指数函数 exp(∑λt+∑μs)。符合最大熵原理。基于条件随机场命名实体识别方法属于有监督学习方法，利用已标注阅读全文

posted @ 2018-03-11 14:43 利炳根阅读(2071) 评论(1) 推荐(0)

2018年3月9日

学习笔记CB006:依存句法、LTP、n元语法模型、N-最短路径分词法、由字构词分词法、图论、概率论

摘要：依存句法分析，法国语言学家L.Tesniere1959年提出。句法，句子规则，句子成分组织规则。依存句法，成分间依赖关系。依赖，没有A，B存在错误。语义，句子含义。依存句法强调介词、助词划分作用，语义依存注重实词间逻辑关系。依存句法随字面词语变化不同，语义依存不同字面词语可同一意思，句法结构不同句阅读全文

posted @ 2018-03-09 21:47 利炳根阅读(951) 评论(0) 推荐(0)

2018年3月6日

学习笔记CB005:关键词、语料提取

摘要：关键词提取。pynlpir库实现关键词提取。 # coding:utf-8 import sys import importlib importlib.reload(sys) import pynlpir pynlpir.open() s = '怎么才能把电脑里的垃圾文件删除' key_words 阅读全文

posted @ 2018-03-06 09:59 利炳根阅读(566) 评论(0) 推荐(0)

2018年2月24日

学习笔记CB004:提问、检索、回答、NLPIR

摘要：聊天机器人，提问、检索、回答。提问，查询关键词生成、答案类型确定、句法和语义分析。查询关键词生成，提问提取关键词，中心词关联扩展词。答案类型确定，确定提问类型。句法和语义分析，问题深层含义剖析。检索，搜索，根据查询关键词信息检索，返回句子或段落。答案抽取，分析和推理检索句子或段落，抽取提问一致实体阅读全文

posted @ 2018-02-24 13:42 利炳根阅读(490) 评论(0) 推荐(0)

2018年2月14日

学习笔记CB003:分块、标记、关系抽取、文法特征结构

摘要：分块，根据句子的词和词性，按照规则组织合分块，分块代表实体。常见实体，组织、人员、地点、日期、时间。名词短语分块(NP-chunking)，通过词性标记、规则识别，通过机器学习方法识别。介词短语(PP)、动词短语(VP)、句子(S)。分块标记，IOB标记，I(inside，内部)、O(outsid 阅读全文

posted @ 2018-02-14 14:17 利炳根阅读(620) 评论(0) 推荐(0)

2018年2月13日

学习笔记CB002:词干提取、词性标注、中文切词、文档分类

摘要：英文词干提取器，import nltk，porter = nltk.PorterStemmer()，porter.stem('lying') 。词性标注器，pos_tag处理词序列，根据句子动态判断，import nltk，text = nltk.word_tokenize("And now fo 阅读全文

posted @ 2018-02-13 13:18 利炳根阅读(1098) 评论(0) 推荐(0)

2018年2月12日

学习笔记CB001:NLTK库、语料库、词概率、双连词、词典

摘要：聊天机器人知识主要是自然语言处理。包括语言分析和理解、语言生成、机器学习、人机对话、信息检索、信息传输与信息存储、文本分类、自动文摘、数学方法、语言资源、系统评测。 NLTK库安装，pip install nltk 。执行python。下载书籍，import nltk，nltk.download() 阅读全文

posted @ 2018-02-12 06:37 利炳根阅读(822) 评论(0) 推荐(0)

2017年11月30日

从零开始在iPhone上运行视频流实时预测模型应用，只需10步

摘要： 1､买一台苹果电脑，建议MacBook Pro。 2､安装Xcode。 3､克隆TensorFlow:https://github.com/tensorflow/tensorflow.git 4､下载TensorFlow核心静态库，运行:tensorflow/contrib/makefiles/do 阅读全文

posted @ 2017-11-30 09:05 利炳根阅读(383) 评论(0) 推荐(0)

2017年11月25日

学习笔记DL008:概率论，随机变量，概率分布，边缘概率，条件概率，期望、方差、协方差

摘要：概率和信息论。概率论，表示不确定性声明数学框架。提供量化不确定性方法，提供导出新不确定性声明(statement)公理。人工智能领域，概率法则，AI系统推理，设计算法计算概率论导出表达式。概率和统计理论分析AI系统行为。概率论提出不确定声明，在不确定性存在情况下推理。信息论量化概率分布不确定性总量阅读全文

posted @ 2017-11-25 13:40 利炳根阅读(1537) 评论(0) 推荐(0)

2017年11月23日

学习笔记DL007:Moore-Penrose伪逆，迹运算，行列式，主成分分析PCA

摘要： Moore-Penrose伪逆(pseudoinverse)。非方矩阵，逆矩阵没有定义。矩阵A的左逆B求解线性方程Ax=y。两边左乘左逆B，x=By。可能无法设计唯一映射将A映射到B。矩阵A行数大于列数，方程无解。矩阵A行数小于列数，矩阵有多个解。矩阵A的伪逆A + =lim a->0 (A T 阅读全文

posted @ 2017-11-23 03:46 利炳根阅读(2008) 评论(0) 推荐(0)

2017年11月22日

学习笔记DL006:特征分解，奇异值分解

摘要：特征分解。整数分解质因素。特征分解(eigendecomposition)，使用最广，矩阵分解一组特征向量、特征值。方阵𝑨的特征向量(eigenvector)，与𝑨相乘相当对该向量缩放非零向量𝑣，𝑨𝑣=λ𝑣。标量λ为特征向量对应特征值(eigenvalue)。左特征向量(left e 阅读全文

posted @ 2017-11-22 13:58 利炳根阅读(503) 评论(0) 推荐(0)

2017年11月21日

学习笔记DL005:线性相关、生成子空间，范数，特殊类型矩阵、向量

摘要：线性相关、生成子空间。逆矩阵A⁽-1⁾存在，Ax=b 每个向量b恰好存在一个解。方程组，向量b某些值，可能不存在解，或者存在无限多个解。x、y是方程组的解，z=αx+(1-α)，α取任意实数。 A列向量看作从原点(origin，元素都是零的向量)出发的不同方向，确定有多少种方法到达向量b。向量x每阅读全文

posted @ 2017-11-21 07:40 利炳根阅读(1390) 评论(0) 推荐(0)

2017年11月20日

学习笔记DL004:标量、向量、矩阵、张量，矩阵、向量相乘，单位矩阵、逆矩阵

摘要：线性代数，面向连续数学，非离散数学。《The Matrix Cookbook》，Petersen and Pedersen，2006。Shilov(1977)。标量、向量、矩阵、张量。标量(scalar)。一个标量，一个单独的数。其他大部分对象是多个数的数组。斜体表示标量。小写变量名称。明确标量阅读全文

posted @ 2017-11-20 07:22 利炳根阅读(2556) 评论(0) 推荐(0)

2017年11月19日

学习笔记DL003:神经网络第二、三次浪潮，数据量、模型规模，精度、复杂度，对现实世界冲击

摘要：神经科学，依靠单一深度学习算法解决不同任务。视觉信号传送到听觉区域，大脑听学习处理区域学会“看”(Von Melchner et al., 2000)。计算单元互相作用变智能。新认知机(Fukushima,1980)，哺乳动物视觉系统结构，处理图片强大模型架构，现代卷积网络基础(LeCun et a 阅读全文

posted @ 2017-11-19 03:35 利炳根阅读(1327) 评论(0) 推荐(0)

2017年11月18日

学习笔记DL002:AI、机器学习、表示学习、深度学习，第一次大衰退

摘要： AI早期成就，相对朴素形式化环境，不要求世界知识。如IBM深蓝(Deep Blue)国际象棋系统，1997，击败世界冠军Garry Kasparov(Hsu,2002)。国际象棋，简单领域，64个位置，严格限制方式移动32个棋子。可由简短、完全形式化规则列表描述，容易事先准备。抽象、形式化，是人类最阅读全文

posted @ 2017-11-18 02:44 利炳根阅读(1195) 评论(0) 推荐(0)

2017年11月17日

学习笔记DL001:数学符号、深度学习的概念

摘要：数学符号。数和数组。𝑎，标量(整数或实数)。𝒂，向量。𝑨，矩阵。𝗔，张量。𝑰𝑛，𝑛行𝑛列单位矩阵。𝑰，维度蕴含上下文单位矩阵。𝑒⁽ⁿ⁾，标准基向量[0,…,0,10,…,0]，其中索引n处值为1。diag(𝒂)，对象方阵，其中对象元素由𝒂给定。a，标量随机变量。𝐚，向量随阅读全文

posted @ 2017-11-17 07:44 利炳根阅读(1689) 评论(0) 推荐(0)

2017年11月14日

学习笔记TF067:TensorFlow Serving、Flod、计算加速，机器学习评测体系，公开数据集

摘要： TensorFlow Serving https://tensorflow.github.io/serving/ 。生产环境灵活、高性能机器学习模型服务系统。适合基于实际数据大规模运行，产生多个模型训练过程。可用于开发环境、生产环境。模型生命周期管理。模型先数据训练，逐步产生初步模型，优化模型。阅读全文

posted @ 2017-11-14 23:49 利炳根阅读(1379) 评论(0) 推荐(0)

学习笔记TF066:TensorFlow移动端应用，iOS、Android系统实践

摘要： TensorFlow对Android、iOS、树莓派都提供移动端支持。移动端应用原理。移动端、嵌入式设备应用深度学习方式，一模型运行在云端服务器，向服务器发送请求，接收服务器响应；二在本地运行模型，PC训练模型，放到移动端预测。向服务端请求数据可行性差，移动端资源稀缺。本地运行实时性更好。加速计算阅读全文

posted @ 2017-11-14 09:39 利炳根阅读(2585) 评论(0) 推荐(0)

2017年11月13日

学习笔记TF065:TensorFlowOnSpark

摘要： Hadoop生态大数据系统分为Yam、 HDFS、MapReduce计算框架。TensorFlow分布式相当于MapReduce计算框架，Kubernetes相当于Yam调度系统。TensorFlowOnSpark，利用远程直接内存访问(Remote Direct Memory Access,RDM 阅读全文

posted @ 2017-11-13 08:55 利炳根阅读(3394) 评论(0) 推荐(0)

2017年11月12日

学习笔记TF064:TensorFlow Kubernetes

摘要： AlphaGo，每个实验1000个节点，每个节点4个GPU，4000 GPU。Siri，每个实验2个节点，8个GPU。AI研究，依赖海量数据计算，离性能计算资源。更大集群运行模型，把周级训练时间缩短到天级小时级。Kubernetes，应用最广泛容器集群管理工具，分布式TensorFlow监控、调度生阅读全文

posted @ 2017-11-12 13:36 利炳根阅读(486) 评论(0) 推荐(0)

2017年11月11日

学习笔记TF063:TensorFlow Debugger

摘要： TensorFlow Debugger(tfdbg)，TensorFlow专用调试器。用断点、计算机图形化展现实时数据流，可视化运行TensorFlow图形内部结构、状态。有助训练推理调试模型错误。https://www.tensorflow.org/programmers_guide/debugg 阅读全文

posted @ 2017-11-11 11:03 利炳根阅读(1010) 评论(0) 推荐(0)

学习笔记TF062:TensorFlow线性代数编译框架XLA

摘要： XLA(Accelerated Linear Algebra)，线性代数领域专用编译器(demain-specific compiler)，优化TensorFlow计算。即时(just-in-time,JIT)编译或提前(ahead-of-time,AOT)编译实现XLA，有助于硬件加速。XLA还在阅读全文

posted @ 2017-11-11 10:37 利炳根阅读(4756) 评论(1) 推荐(0)

2017年11月10日

学习笔记TF061:分布式TensorFlow，分布式原理、最佳实践

摘要：分布式TensorFlow由高性能gRPC库底层技术支持。Martin Abadi、Ashish Agarwal、Paul Barham论文《TensorFlow:Large-Scale Machine Learning on Heterogeneous Distributed Systems》。阅读全文

posted @ 2017-11-10 13:10 利炳根阅读(11557) 评论(0) 推荐(0)

2017年11月6日

学习笔记TF060:图像语音结合，看图说话

摘要：斯坦福大学人工智能实验室李飞飞教授，实现人工智能3要素：语法(syntax)、语义(semantics)、推理(inference)。语言、视觉。通过语法(语言语法解析、视觉三维结构解析)和语义(语言语义、视觉特体动作含义)作模型输入训练数据，实现推理能力，训练学习能力应用到工作，从新数据推断结论。阅读全文

posted @ 2017-11-06 22:03 利炳根阅读(975) 评论(0) 推荐(0)

学习笔记TF059:自然语言处理、智能聊天机器人

摘要：自然语言处理，语音处理、文本处理。语音识别(speech recognition)，让计算机能够“听懂”人类语音，语音的文字信息“提取”。日本富国生命保险公司花170万美元安装人工智能系统，客户语言转换文本，分析词正面或负面。智能客服是人工能智能公司研究重点。循环神经网络(recurrent ne 阅读全文

posted @ 2017-11-06 00:24 利炳根阅读(3387) 评论(0) 推荐(0)

2017年11月5日

学习笔记TF058:人脸识别

摘要：人脸识别，基于人脸部特征信息识别身份的生物识别技术。摄像机、摄像头采集人脸图像或视频流，自动检测、跟踪图像中人脸，做脸部相关技术处理，人脸检测、人脸关键点检测、人脸验证等。《麻省理工科技评论》(MIT Technology Review)，2017年全球十大突破性技术榜单，支付宝“刷脸支付”(Pay 阅读全文

posted @ 2017-11-05 11:14 利炳根阅读(3493) 评论(0) 推荐(0)

2017年11月4日

学习笔记TF057:TensorFlow MNIST，卷积神经网络、循环神经网络、无监督学习

摘要： MNIST 卷积神经网络。https://github.com/nlintz/TensorFlow-Tutorials/blob/master/05_convolutional_net.py 。TensorFlow搭建卷积神经网络(CNN)模型，训练MNIST数据集。构建模型。定义输入数据，预处阅读全文

posted @ 2017-11-04 03:38 利炳根阅读(2200) 评论(0) 推荐(0)

2017年11月3日

学习笔记TF056:TensorFlow MNIST，数据集、分类、可视化

摘要： MNIST(Mixed National Institute of Standards and Technology)http://yann.lecun.com/exdb/mnist/ ，入门级计算机视觉数据集，美国中学生手写数字。训练集6万张图片，测试集1万张图片。数字经过预处理、格式化，大小调整阅读全文

posted @ 2017-11-03 21:23 利炳根阅读(1622) 评论(0) 推荐(0)

学习笔记TF055:TensorFlow神经网络简单实现一元二次函数

摘要： TensorFlow运行方式。加载数据、定义超参数，构建网络，训练模型，评估模型、预测。构造一个满足一元二次函数y=ax^2+b原始数据，构建最简单神经网络，包含输入层、隐藏层、输出层。TensorFlow学习隐藏层、输出层weights、biases。观察训练次数增加，损失值变化。生成、加载数阅读全文

posted @ 2017-11-03 10:51 利炳根阅读(823) 评论(0) 推荐(0)

2017年11月1日

学习笔记TF054:TFLearn、Keras

摘要：元框架(metaframework)。 TFLearn。模块化深度学习框架，更高级API，快速实验，完全透明兼容。 TFLearn实现AlexNet。https://github.com/tflearn/tflearn/blob/master/examples/images/alexnet.py牛津阅读全文

posted @ 2017-11-01 21:47 利炳根阅读(1542) 评论(0) 推荐(0)

学习笔记TF053:循环神经网络，TensorFlow Model Zoo，强化学习，深度森林，深度学习艺术

摘要：循环神经网络。https://github.com/aymericdamien/TensorFlow-Examples/blob/master/examples/3_NeuralNetworks/recurrent_network.py。自然语言处理(natural language proces 阅读全文

posted @ 2017-11-01 08:58 利炳根阅读(1688) 评论(0) 推荐(0)

2017年10月31日

学习笔记TF052:卷积网络，神经网络发展，AlexNet的TensorFlow实现

摘要：卷积神经网络(convolutional neural network,CNN)，权值共享(weight sharing)网络结构降低模型复杂度，减少权值数量，是语音分析、图像识别热点。无须人工特征提取、数据重建，直接把图片作输入，自动提取特征，对平移、比例缩放、倾斜等图片变形具有高度不变形。卷积( 阅读全文

posted @ 2017-10-31 09:12 利炳根阅读(1746) 评论(0) 推荐(0)

2017年9月14日

学习笔记GAN004:DCGAN main.py

摘要： Scipy 高端科学计算:http://blog.chinaunix.net/uid-21633169-id-4437868.html import os #引用操作系统函数文件 import scipy.misc #引用scipy包misc模块图像形式存取数组 import numpy as n 阅读全文

posted @ 2017-09-14 07:26 利炳根阅读(1645) 评论(0) 推荐(0)