|旧市拾荒|

摘要： 一、数据准备 首先要做一些数据准备方面的工作：一是把数据集切分为训练集和验证集， 二是转换为tfrecord 格式。在data_prepare／文件夹中提供了会用到的数据集和代码。首先要将自己的数据集切分为训练集和验证集，训练集用于训练模型， 验证集用来验证模型的准确率。这篇文章已经提供了一个实验用 阅读全文

摘要： 基于Tensorflow和Keras实现端到端的不定长中文字符检测和识别(文本检测：CTPN，文本识别：DenseNet + CTC)，在使用自己的数据训练这个模型的过程中，出现如下错误，由于问题已经解决，当时的出现的问题又没有截图保存，错误又不好复现，所以只能在网上找一张截图下来。 经过查找相关资 阅读全文

摘要： 在Tensorflow下使用SSD模型训练自己的数据集时，经过查找很多博客资料，已经成功训练出来了自己的模型，但就是在测试自己模型效果的时候，出现了如下错误。 在查找资料的过程中，出现了很多波折，百度上基本没有同样的错误， 最开始使用的代码是： 尝试过很多种方法，比如下面这种方法，改了后还是报同样的 阅读全文

摘要： 在自己的数据集上训练一个新的深度学习模型时，一般采取在预训练好的模型上进行微调的方法。什么是微调？这里已VGG16为例进行讲解，下面贴出VGGNet结构示意图。 上面圈出来的是VGG16示意图，也可以用如下两个图表示。 如上图所示 ，VGG16的结构为卷积+全连接层。卷积层分为5个部分共13层，即图 阅读全文

摘要： 一、tensorflow读取机制图解 首先需要思考的一个问题是，什么是数据读取？以图像数据为例，读取的过程可以用下图来表示 假设我们的硬盘中有一个图片数据集0001.jpg，0002.jpg，0003.jpg……我们只需要把它们读取到内存中，然后提供给GPU或是CPU进行计算就可以了。这听起来很容易 阅读全文

摘要： 这次我们将建立一个卷积神经网络，它可以把MNIST手写字符的识别准确率提升到99%，读者可能需要一些卷积神经网络的基础知识才能更好的理解本节的内容。 程序的开头是导入TensorFlow： 接下来载入MNIST数据集，并建立占位符。占位符x的含义为训练图像，y_为对应训练图像的标签。 运行后会在当前 阅读全文

摘要： 在学习深度学习等知识之前，首先得了解著名的框架TensorFlow里面的一些基础知识，下面首先看一下这个框架的一些基本用法。 得到的结果是： 通过上面可以看出，只是简单的一个矩阵的乘法，我们就写了这么多的代码，看起来比较麻烦，但是没有办法，要用这个框架就必须按照它的用法去用，但是在用这个框架来写深度 阅读全文

摘要： 最近，在使用labelImg.exe这款软件进行数据标注的时候，发现在使用过程中软件打不开，一打开出现如下界面然后就立即闪退出去。 最开始解决的方案是使用管理员方式打开，发现还是闪退，最后把电脑重启一下发现还是没有任何效果。 最终解决方案：时隔一天后，在百度中看到，可能的原因是软件的安装的路径中包含 阅读全文

摘要： 一、任务 这次我们将了解在机器学习中支持向量机的使用方法以及一些参数的调整。支持向量机的基本原理就是将低维不可分问题转换为高维可分问题，在前面的博客具体介绍过了，这里就不再介绍了。 首先导入相关标准库： 作为一个例子，首先我们随机生成一些数据，考虑分类任务的简单情况，其中两个类别的点是良好分隔的： 阅读全文

摘要： 五、SVM求解实例 上面其实已经得出最终的表达式了，下面我们会根据一些具体的点来求解α的值。数据：3个点，其中正例 X1(3,3) ，X2(4,3) ，负例X3(1,1) 如下图所示 我们需要求解下式的极小值 注意约束条件（在这里不要忘记了yi代表的是数据的类别，+1代表正例，-1代表负例） 代入数 阅读全文

摘要： 一、问题引入 支持向量机(SVM，Support Vector Machine)在2012年前还是很牛逼的，但是在12年之后神经网络更牛逼些，但是由于应用场景以及应用算法的不同，我们还是很有必要了解SVM的，而且在面试的过程中SVM一般都会问到。支持向量机是一个非常经典且高效的分类模型。我们的目标： 阅读全文

摘要： 五、TF-IDF以及LDA主题模型 TF-IDF关键词提取 可以得到第2400条数据以及关键词 从最后一句话就可以大致得到这段文章的大致意思，那这些词就是这段文章的关键词。 LDA（Latent Dirichlet Allocation）是一种文档主题生成模型，它是一种主题模型，它包含文章，主题和词 阅读全文

摘要： 一、基础知识 假设有一份文本数据如下，数据量很大，现在要对整个语料库进行文本分析，category代表新闻种类，theme代表新闻主题，URL代表新闻链接地址，content代表新闻主题内容 停用词：在content这一列，在数据量很大的情况，很容易发现某些似乎与新闻本身意义不大的词大量出现，而我们 阅读全文

摘要： 一、任务简介 假设身处这样一个场景，用户输入的是一个错误单词，而我们需要做的就是来预测出用户实际想输入的单词。如果这个单词是正确的，那么结果肯定就是自己本身了。如果用户实际输入tha，那这个单词肯定是错误的，我们就可以通过一种算法来得到用户可能实际上真正想输入的是the。这种算法可以通过贝叶斯算法来 阅读全文

摘要： 一、贝叶斯简介 贝叶斯(约1701-1761) Thomas Bayes，英国数学家，贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章，生不逢时，死后它的作品才被世人认可。 贝叶斯要解决的问题： 正向概率：假设袋子里面有N个白球，M个黑球，你伸手进去摸一把，摸出黑球的概率是多大？ 逆向概率：如 阅读全文