摘要：
总结 为了学习和使用tensorflow作为工具, 我决定逐步亲自动手一行行写一下： [x] MNIST手写模型; [x] MNIST多层感知机(前馈神经网络,2层); [x] MNIST卷积网络(2层); [ ] cifar 10卷积网络(2层); [ ] word2vec; [ ] 循环神经网络 阅读全文
posted @ 2019-08-30 15:28
云远·笨小孩
阅读(171)
评论(0)
推荐(1)
摘要：
循环神经网络(RNN) 卷积网络专门处理网格化的数据，而循环网络专门处理序列化的数据。 一般的神经网络结构为： 一般的神经网络结构的 前提假设 是： 元素之间是相互独立的，输入、输出都是独立的 。 现实世界中的输入并不完全独立，如股票随时间的变化，这就需要 循环网络 。 循环神经网络的本质 循环神经 阅读全文
posted @ 2019-08-30 15:27
云远·笨小孩
阅读(1115)
评论(0)
推荐(0)
摘要：
为什么学习word2word2vec模型? 该模型用来学习文字的向量表示。图像和音频可以直接处理原始像素点和音频中功率谱密度的强度值， 把它们直接编码成向量数据集。但在"自然语言处理"中，对语句中的单词(Word)进行编码，无法提供 不同词汇之间的关联信息。这种"独立的、离散的"符号将导致数据稀疏， 阅读全文
posted @ 2019-08-30 15:25
云远·笨小孩
阅读(336)
评论(0)
推荐(0)
摘要：
TensorFlow运作方式 要用到的代码都在 "Github" 上。当然，如果你本地装了TensorFlow，也可以用 "Everything" 直接搜索以下文件： "mnist.py" fully_connected_feed.py 要开始训练，只需要： 准备数据，下载数据； 设置 输入与占位符 阅读全文
posted @ 2019-08-30 15:24
云远·笨小孩
阅读(400)
评论(0)
推荐(0)
摘要：
卷积网络 卷积神经网络(Convolutional Neural Network,CNN)专门处理 具有类似网格结构的数据 的神经网络。如： 时间序列数据(在时间轴上有规律地采样形成的一维网格)； 图像数据(二维的像素网格)； 卷积网络 是指至少在网络的一层中使用卷积运算来替代一般的矩阵乘法运算的神 阅读全文
posted @ 2019-08-30 15:23
云远·笨小孩
阅读(595)
评论(0)
推荐(0)
摘要：
深度模型的优化 回顾概念： 代价函数时训练集上损失函数的平均： $$J(\theta)=E_{(x,y)\sim \hat{p}_{data}}L(f(x;\theta),y) \tag{1}$$ 引入概念： |概念|描述| |: :|: :| |批量梯度算法|使用整个训练集的优化算法，可计算更精确 阅读全文
posted @ 2019-08-30 15:22
云远·笨小孩
阅读(361)
评论(0)
推荐(0)
摘要：
深度学习的正则化 回顾一些基本概念 |概念|描述| |: :|: :| |设计矩阵|数据集在特征向量上的表示| |训练误差|学习到的模型与训练集标签之间的误差| |泛化误差(测试误差)|学习到的模型与测试集之间的误差| |欠拟合|模型的训练误差很大| |过拟合|训练误差小，但训练误差与测试误差之间差 阅读全文
posted @ 2019-08-30 15:21
云远·笨小孩
阅读(443)
评论(0)
推荐(0)
摘要：
深度前馈网络(前馈神经网络,多层感知机) 神经网络基本概念 前馈神经网络在 模型输出和模型本身之间没有反馈连接 ;前馈神经网络包含反馈连接时，称为 循环神经网络 。 前馈神经网络用 有向无环图 表示。 设三个函数组成的链：$f_3(f_2(f_1))$，$f_1$为网络第一层，叫 输入层 。$f_2 阅读全文
posted @ 2019-08-30 15:20
云远·笨小孩
阅读(1053)
评论(1)
推荐(0)
摘要：
TensorFlow学习笔记5 概率与信息论 本笔记内容为“概率与信息论的基础知识”。内容主要参考《Deep Learning》中文版。 $X$表示训练集的设计矩阵，其大小为m行n列，m表示训练集的大小(size)，n表示特征的个数； $W$表示权重矩阵，其大小是n行k列，n为输入特征的个数，k为输 阅读全文
posted @ 2019-08-30 15:18
云远·笨小孩
阅读(829)
评论(0)
推荐(1)
摘要：
TensorFlow学习笔记6 数值计算 本笔记内容为“数值计算的基础知识”。内容主要参考《Deep Learning》中文版。 $X$表示训练集的矩阵，其大小为m行n列，m表示训练集的大小(size)，n表示特征的个数； $y$表示训练集对应标签，其大小为m行，m表示训练集的大小(size)； $ 阅读全文
posted @ 2019-08-30 15:18
云远·笨小孩
阅读(382)
评论(0)
推荐(0)
摘要：
TensorFlow学习笔记4 线性代数基础 本笔记内容为“AI深度学习”。内容主要参考《Deep Learning》中文版。 $X$表示训练集的设计矩阵，其大小为m行n列，m表示训练集的大小(size)，n表示特征的个数； $W$表示权重矩阵，其大小是n行k列，n为输入特征的个数，k为输出(特征) 阅读全文
posted @ 2019-08-30 15:17
云远·笨小孩
阅读(475)
评论(0)
推荐(0)
摘要：
TensorFlow学习笔记3 从MNIST开始学习softmax 本笔记内容为“从MNIST学习softmax regression算法的实现”。 注意：由于我学习机器学习及之前的书写习惯，约定如下： $X$表示训练集的设计矩阵，其大小为m行n列，m表示训练集的大小(size)，n表示特征的个数； 阅读全文
posted @ 2019-08-30 15:14
云远·笨小孩
阅读(427)
评论(0)
推荐(1)
摘要：
TensorFlow学习笔记2 性能分析工具 性能分析工具 1. 在spyder中运行以下代码: 使用 进行处理，运算完成后会自动关闭session，不需要再显示地 上述代码将session的运行情况写入到 文件。 注意 ：如果上述代码在spyder中报错，报错内容为 Couldn't open C 阅读全文
posted @ 2019-08-30 15:13
云远·笨小孩
阅读(1615)
评论(0)
推荐(0)
摘要：
TensorFlow学习笔记1 入门 作者: "YunYuan" 写在前面 本笔记是我学习 "TensorFlow官方文档中文版" 的读书笔记，由于尚未搭建好 "Github" 的个人博客的评论功能，故尚不方便与各位交流。如有问题，可 "邮箱" 联系。 TensorFlow运算的本质是 有状态的数据 阅读全文
posted @ 2019-08-30 15:11
云远·笨小孩
阅读(233)
评论(0)
推荐(0)
摘要：
1.动画复制与动画粘贴、动画删除 PA的动画复制、动画粘贴不会覆盖原有动画； PPT自带的动画刷会覆盖原有动画； 注意 ： 1. 超级属性的动画复制、粘贴有bug，应使用自带的动画刷； 2. PA动画的复制、粘贴只能实现一对一，一对多，无法实现多对一； 但可以实现多对多，如3to3或3to6 3. 阅读全文
posted @ 2019-08-30 14:43
云远·笨小孩
阅读(1163)
评论(0)
推荐(0)
摘要：
在PCB中间打洞，螺丝孔等 制作PCB螺丝孔 1 在Keepout层首先绘制一个圆形(矩形)； 2 在绘制PCB时，选中该图形， 。 封装为库 1 在Keepout层首先绘制一个圆形(矩形)； 2 在绘制PCB库时，选中该图形， 。 如何使用altium designer 绘制pcb时如何检查漏线 阅读全文
posted @ 2019-08-30 14:43
云远·笨小孩
阅读(1471)
评论(0)
推荐(0)
摘要：
VS代码自动补全功能 新建工程后，依次打开 工具 代码段管理器 选择C++ 点击 添加(A)...按钮 ,设置你的代码块的目录 复制以下代码并存为note.snippet 在VS的代码编辑器里输入note后按tab即可。 阅读全文
posted @ 2019-08-30 14:39
云远·笨小孩
阅读(8888)
评论(0)
推荐(0)
摘要：
Visio 2016自定义模具与形状 0. 什么是模具? 模具：一组形状的集合 1. 新建模具 打开Visio 2016，在空白的文件中选 2. 编辑模具 新建的模具已自动打开"编辑"，你可进行编辑该模具； 微软的模具默认不可编辑。你需要 ，已进入编辑模式； 3. 添加形状 在模具名称下方"空白处" 阅读全文
posted @ 2019-08-30 14:39
云远·笨小孩
阅读(4427)
评论(0)
推荐(0)
摘要：
怎样理解傅立叶变换和卷积 傅立叶变换 先看连续和离散系统的公式： $$F(w)=\int^{+\infty}_{ \infty} f(t)e^{ iwt}dt=\int^{+\infty}_{ \infty} f(t)(\cos wt i\sin wt)dt \tag{1}$$ $$F(w)=\su 阅读全文
posted @ 2019-08-30 14:38
云远·笨小孩
阅读(1707)
评论(0)
推荐(0)
摘要：
笔者更推荐 "使用notepad++写markdown" Atom也有Bug，还是Visual Studio Code好用。 1. 去官网下载MarkdownPad2的安装 "包" ，并安装之。 2. 如果你是Windows 10用户，你还需要下载安装 "awesomium sdk" 以支持浏览器框 阅读全文
posted @ 2019-08-30 14:37
云远·笨小孩
阅读(303)
评论(0)
推荐(0)
摘要：
题库管理 本笔记记录使用磨题帮进行题库管理与复习的过程。 安卓手机上下载 磨题帮APP ，注册账户，免费用户即可。免费用户的云空间为200MB，VIP为500MB。 使用Excel建立你的题库 在磨题帮官网上给出了一些题型的示例，可参考下载修改。这里使用自己制作的模板即可。如图。 注意： 1. 多媒 阅读全文
posted @ 2019-08-30 14:35
云远·笨小孩
阅读(250)
评论(0)
推荐(0)
该文被密码保护。 阅读全文
posted @ 2019-08-30 14:31
云远·笨小孩
阅读(5)
评论(0)
推荐(0)
摘要：
参考： "citationstyles" 使用文献管理软件写SCI论文 首先，你可能需要确定需要投稿的杂志。 确定你要投稿的杂志 个人认为，在写作之前，应该综合考虑所选杂志的影响因子(IF)，年文章数，投稿参考，投稿难易，一审周期等。 在 "梅斯网站" 可以查询你关注的期刊。 查看该期刊的Guide 阅读全文
posted @ 2019-08-30 14:30
云远·笨小孩
阅读(595)
评论(0)
推荐(0)
摘要：
已过时 1. ~~下载最新的markdown插件, "github" 解压后将 复制一份到notepad++安装目录的plugins里 现在再打开notepad++就能看到markdown插件的小图标了~~ 2. ~~设置markdown高亮 下载最新的markdown高亮配置文件, "github 阅读全文
posted @ 2019-08-30 14:29
云远·笨小孩
阅读(3378)
评论(0)
推荐(1)
摘要：
使用Hexo模板 按以下指导进行本地预览和上传到你的github。 环境安装 安装node.js node.js官方下载地址 设置npm淘宝镜像站(npm默认的源的下载速度可能很慢，建议使用淘宝镜像替换) 执行下面的命令，将npm的源设置成淘宝镜像站。 安装hexo执行以下命令安装hexo。 在 下 阅读全文
posted @ 2019-08-30 14:28
云远·笨小孩
阅读(229)
评论(0)
推荐(0)
摘要：
下载Git 搜索“Git”，在官网中根据系统版本下载，并双击打开，按默认已勾选组件点下一步; 勾选在Windows命令行窗口中使用Git； 使用推荐的OpenSSL库用于HTTPS连接； 一路默认安装即可。 使用Git 命令创建仓库 1. 新建本地仓库 双击打开Git Bash，配置你的GitHub 阅读全文
posted @ 2019-08-30 14:27
云远·笨小孩
阅读(352)
评论(0)
推荐(0)
摘要：
使用Atom写你的笔记 本文参考 "简书笔记" 。 使用sync settings同步你的Atom设置 使用sync settings插件需要以下3个条件: 电脑已安装Atom Atom内已安装sync settings插件 拥有一个GitHub账号（因为需要将同步的信息上传到gits上） 安装sy 阅读全文
posted @ 2019-08-30 14:27
云远·笨小孩
阅读(722)
评论(0)
推荐(0)
摘要：
个人珍藏的PC和安卓应用列表 |PC应用名称|功能描述|注意事项|存储位置| |: :|: :|: :|: :| |维棠FLV视频下载软件|可用来下载 腾讯视频 的视频|将视频列表的网址粘贴到维棠软件左侧"下载"的地址中即可批量下载。|百度云 "腾讯视频下载工具.exe"| |Everything| 阅读全文
posted @ 2019-08-30 14:26
云远·笨小孩
阅读(314)
评论(0)
推荐(0)
摘要：
PCA(Principal Component Analysis)与SVD 常用的降维方法有主成分分析(PCA)，因子分析(Factor Analysis)，独立成分分析(ICA)。 1. PCA优点：降低数据的复杂性；缺点：不一定非要用，且可能损失有用信息。适用于数值型数据 2. PCA算法概要： 阅读全文
posted @ 2019-08-30 14:25
云远·笨小孩
阅读(212)
评论(0)
推荐(0)
摘要：
Apriori算法 1. 优点：易编码实现；缺点：大数据集上较慢；适用于：数值型或标称型数据。 2. 关联分析：寻找频繁项集(经常出现在一起的物品的集合)或关联规则(两种物品之间的关联关系)。 3. 概念：支持度：数据集中包含某项集的记录所占的比例P(A)；可信度(置信度)：对某个关联规则$A\ri 阅读全文
posted @ 2019-08-30 14:24
云远·笨小孩
阅读(445)
评论(0)
推荐(0)
摘要：
K 均值聚类 1. 优点：易实现。缺点：可能收敛到局部最小值，大规模数据集上收敛较慢；适用于数值型数据。 2. K 均值聚类(找到给定数据集的k个簇) 算法流程 伪代码： 3. 评价指标：误差(实质上是数据点到簇质心的距离的平方值之和，SSE，Sum of Squared Error)，以上K 均值 阅读全文
posted @ 2019-08-30 14:23
云远·笨小孩
阅读(297)
评论(0)
推荐(0)
摘要：
CART(classification and regression trees)树回归 1. 优点：可对 复杂 和 非线性 的数据建模；缺点：结果不易理解；适用于：数值型和标称型。 2. 构建树函数createTree()的伪代码： 3. 选择最好的划分方式 伪代码：用于回归树和模型树 pytho 阅读全文
posted @ 2019-08-30 14:22
云远·笨小孩
阅读(231)
评论(0)
推荐(0)
摘要：
回归 线性回归 设$\mathbf{x}^{\mathbf{T}}$向量第一列全为1，即$x_{0} = 1$，这样$x_{0}w_{0}$代表的是截距，$x_{1}w_{1}$是斜率： 设回归方程$y_{i}^{'} =\mathbf{x}_{\mathbf{i}}^{T}\mathbf{\ome 阅读全文
posted @ 2019-08-30 14:21
云远·笨小孩
阅读(212)
评论(0)
推荐(0)
摘要：
AdaBoost(Adaptive boosting)元算法 元算法：将不同分类器组合起来的结果，也叫集成方法。 AdaBoost优点：泛化错误率，易编码，可应用在大部分分类器，无参数调整；缺点：对离群点敏感；适用于：数值型和标称型。 自举汇聚法(Bootstrap aggregating, bag 阅读全文
posted @ 2019-08-30 14:19
云远·笨小孩
阅读(258)
评论(0)
推荐(0)
摘要：
朴素贝叶斯 (计算 每类下个特征的条件概率之积 和 该类概率 的乘积) 朴素贝叶斯的特点： | 特点 | 例 | | | | | 优点：数据较少时依然有效，可处理多类别问题； 缺点：对输入数据的准备方式比较敏感； 适用数据类型：标称。 | 文档分类(用关键词) 过滤垃圾邮件(某些关键词是否有侮辱性) 阅读全文
posted @ 2019-08-30 14:16
云远·笨小孩
阅读(163)
评论(0)
推荐(0)
摘要：
Logistic回归 | 优缺点 | 适用范围 | | | | | 优点：计算代价不高，易于理解和实现。 缺点：容易欠拟合，分类精度可能不高。 适用于：数值型和标称型数据。 | 仅用于二分类 | 原理： 每个特征都乘以一个回归系数 将结果相加 总和代入到Sigmoid函数，得到范围在(0,1)中的数 阅读全文
posted @ 2019-08-30 14:16
云远·笨小孩
阅读(253)
评论(0)
推荐(0)
摘要：
决策树 (迭代地寻找划分样本集的最好特征，按该特征划分时信息增益最大) 决策树算法的优缺点 | 特点 | 例 | | | | | 优点：计算复杂度不高， 输出结果易于理解 ，对中间值的缺失不敏感， 可处理不相关特征数据。 缺点： 可能产生过度匹配的问题。 适用数据类型：数值型和标称型。 | 隐形眼镜 阅读全文
posted @ 2019-08-30 14:15
云远·笨小孩
阅读(205)
评论(0)
推荐(0)
摘要：
k 近邻算法(kNN) =============== 本质是(提取样本集中特征最相似数据（最近邻）的k个分类标签)。 | K 近邻算法的优缺点 | 例 | | | | | 优点：精度高，对异常值不敏感，无数据输入假定； 缺点：计算复杂度高，空间复杂度高； 适用于：数值型和标称型。 | 手写数字识别 阅读全文
posted @ 2019-08-30 14:14
云远·笨小孩
阅读(192)
评论(0)
推荐(0)
摘要：
1. kNN算法：就看测试向量距哪种更近，前 k 个最近的点中哪类多，预测结果就是哪类。 2. 决策树：选择用来划分数据集的最好特征(最大的$infoGain = baseEntropy newEntropy$)，对该特征的每一个值创建一个子节点，递归至label完全相同或已用完所有特征。 3. 朴 阅读全文
posted @ 2019-08-30 14:13
云远·笨小孩
阅读(202)
评论(0)
推荐(0)
摘要：
混淆矩阵 | 预测结果 真实结果 | \+1(正例) | \ 1(反例) | | | | | | \+1 | 真正例(TP) | 伪反例(FN) | | \ 1 | 伪正例(FP) | 真反例(TN) | 正确率=TP/(TP+FP) 召回率=TP/(TP+FN) 假阳率=FP/(FP+TN) 真阳 阅读全文
posted @ 2019-08-30 14:11
云远·笨小孩
阅读(170)
评论(0)
推荐(0)
摘要：
机器学习基础 ============ 监督学习简介 监督学习的两个任务： 分类 和 回归分析 （预测数值型数据）。 分类思路 分类方法思路： 这个表至关重要，叫做特征向量表 | | 特征1 | 特征2 | … | 目的变量(类别) | |: :|: :|: :|: :|: :| | 实例1 | … 阅读全文
posted @ 2019-08-30 14:08
云远·笨小孩
阅读(253)
评论(0)
推荐(0)
摘要：
layout: post title: "机器学习实战笔记 6 支持向量机" categories: 机器学习 tags: 机器学习 支持向量机 SVM author: YunYuan mathjax: true 支持向量机 1. 优缺点：优点：泛化错误率低，计算开销不大，结果易解释；缺点：对参数调 阅读全文
posted @ 2019-08-30 10:46
云远·笨小孩
阅读(485)
评论(0)
推荐(1)
浙公网安备 33010602011771号