随笔分类 -  深度学习

神经网络，CNN，RNN，梯度消失，梯度溢出，激活函数，损失函数，深度学习在NLp中的应用，开源框架tensorflow
语义相似度(实践篇)
摘要：这篇文章，专门讲语义相似度问题。 先看场景： scene(一)：用户通过大众点评，线上约了餐馆，就餐后在上面发表了很多评论，评论中涉及了大量的餐馆的问题，比如菜品质量，酒店卫生，服务等等。现在需要抽取之中的要点，然后反馈给商家。 scene(二)：KB_QA的两个问题：①获取question的语义表 阅读全文
posted @ 2018-05-01 12:10 佟学强 阅读(3766) 评论(0) 推荐(0)
论场景在研发中的重要性
摘要：随着中国改革开放程度的加深，互联网行业也逐渐出现变革，典型的变化就是由原来的低端重复性造轮子，逐步转向高端，以技术创新为主导。一个有力的证明就是近年来以技术驱动的创业公司越来越多，这在10年前是不可想象的。在人才要求上，对工作经验不再那么看重，而更加重视求职者的学历，专业，背景。 在这样的背景下，一 阅读全文
posted @ 2018-04-17 12:55 佟学强 阅读(1254) 评论(0) 推荐(0)
2017年语义理解总结(二)
摘要：前面的博客进行了总述，这篇博客细化深入，主要结合知识图谱，KB_QA，语义表示的丰富性方面来论述，但是仍然会很宽泛，因为讲具体的技术细节，会有很多人蒙圈的，没有太大意义。 前面提到，语义理解，一方面要获取丰富，灵活的语义表示，另一方面要与知识图谱融合。要想获取精准的语义理解，比如谁是第一个为纸牌屋里 阅读全文
posted @ 2018-02-12 20:53 佟学强 阅读(2293) 评论(0) 推荐(0)
2017年语义理解总结(一)
摘要：2017年就这么悄无声息地过去了。在工业界，2016年是推荐的元年，2017年是中国的AI元年，这意味着路漫漫其修远兮~，而学术界永远会超前于工业界，有些时候难免也会有些一厢情愿……这些线索表明：①AI的发展非常迅速②学术界和工业界不同步的现象是共存的。过去的一年在nlp领域里，知识图谱的发展是最为 阅读全文
posted @ 2018-02-02 12:55 佟学强 阅读(5549) 评论(4) 推荐(2)
从应用创新的角度再论语义表示
摘要：author:XueQiang Tong mail:niurenai@outlook.com v:txq130 先引入一个例子： bush这个词有灌木丛和总统两个意思。给你一句话，如果其中含有bush这个词，如何判断他的语义？ 这是一个经典又古老的nlp话题。解决他的方案，有很多。其中有一个方案是这 阅读全文
posted @ 2017-12-04 15:48 佟学强 阅读(685) 评论(0) 推荐(0)
2017年计算语义相似度最新论文，击败了siamese lstm，非监督学习
摘要：Page 1Published as a conference paper at ICLR 2017AS IMPLE BUT T OUGH - TO -B EAT B ASELINE FOR S EN -TENCE E MBEDDINGSSanjeev Arora, Yingyu Liang, Te 阅读全文
posted @ 2017-11-11 15:37 佟学强 阅读(3016) 评论(0) 推荐(0)
关于nlp的一些探索
摘要：深度学习，知识图谱，nlp学习经历 获取信息来源：英文paper研读，吴恩达公开课，Hiton公开课，北大nlp教材，英文最新学术论文，中科院院士技术博客，知识图谱专家课程自学进修路线：基础理论 专业理论(公开课，讲义，教材，技术博客) 框架原理及使用：sparkMLlib,tensorflow 最 阅读全文
posted @ 2017-10-11 15:38 佟学强 阅读(711) 评论(0) 推荐(0)
nlp语义理解的一点儿看法
摘要：nlp领域里，语义理解仍然是难题！ 给你一篇文章或者一个句子，人们在理解这些句子时，头脑中会进行上下文的搜索和知识联想。通常情况下，人在理解语义时头脑中会搜寻与之相关的知识。知识图谱的创始人人为，构成这个世界的是实体，而不是字符串，这从根本上改变了过去搜索的体系。语义理解其实是基于知识，概念和这些概 阅读全文
posted @ 2017-09-20 16:27 佟学强 阅读(6867) 评论(0) 推荐(1)
word2vector的tensorflow代码实现
摘要：import collections import math import os import random import zipfile import numpy as np import urllib.request as request import tensorflow as tf url = 'http://mattmahoney.net/dc/' def maybe_downlo... 阅读全文
posted @ 2017-09-13 17:40 佟学强 阅读(1424) 评论(0) 推荐(0)
LSTM代码
摘要：tensorflow的关于LSTM的代码，经过反复的调试和修改，终于运行成功了，可以把训练过程的结果保存起来，然后预测的时候直接取出来。花了很长时间才把官网上的代码调试成功，里面的坑有很多需要填补，还有源代码，都需要认真解读，关于tensorflow的高级结构，比如队列和多线程，也涉及到了。 阅读全文
posted @ 2017-09-13 17:30 佟学强 阅读(1282) 评论(0) 推荐(0)
原创：语义相似度(理论篇)
摘要：知识图谱与语义相似度的关系 阅读全文
posted @ 2017-08-24 23:11 佟学强 阅读(8801) 评论(0) 推荐(1)
转载：tensorflow保存训练后的模型
摘要：训练完一个模型后，为了以后重复使用，通常我们需要对模型的结果进行保存。如果用Tensorflow去实现神经网络，所要保存的就是神经网络中的各项权重值。建议可以使用Saver类保存和加载模型的结果。 1、使用tf.train.Saver.save()方法保存模型 tf.train.Saver.save 阅读全文
posted @ 2017-07-26 22:31 佟学强 阅读(4225) 评论(1) 推荐(0)
tensorflow学习笔记(三)：实现自编码器
摘要：黄文坚的tensorflow实战一书中的第四章，讲述了tensorflow实现多层感知机。Hiton早年提出过自编码器的非监督学习算法，书中的代码给出了一个隐藏层的神经网络，本人扩展到了多层，改进了代码。实现多层神经网络时，把每层封装成一个NetLayer对象(本质是单向链表)，然后计算隐藏层输出值 阅读全文
posted @ 2017-07-26 10:10 佟学强 阅读(2946) 评论(0) 推荐(0)
转载：深度学习在NLP中的应用
摘要：之前研究的CRF算法，在中文分词，词性标注，语义分析中应用非常广泛。但是分词技术只是NLP的一个基础部分，在人机对话，机器翻译中，深度学习将大显身手。这篇文章，将展示深度学习的强大之处，区别于之前用符号来表示语义，深度学习用向量表达语义。这篇文章的最大价值在于，为初学者指明了研究方向。下面为转载的原 阅读全文
posted @ 2017-06-06 17:24 佟学强 阅读(1007) 评论(0) 推荐(0)