随笔分类 -  机器学习

深度学习，机器学习，推荐，计算广告
分布式深度学习（Spark MLlib，Parameter Server、Ring-allreduce和Tensorflow ）
摘要：Spark MLlib Spark分布式计算原理 Spark（分布式的计算平台），分布式：指计算节点之间不共享内存，需要通过网络通信的方式交换数据。Spark最典型的应用方式是建立在大量廉价计算节点（廉价主机、虚拟的docker container）上；但这种方式区别于CPU+GPU的架构和共享内存 阅读全文
posted @ 2019-12-24 17:53 雨婷墨染 阅读(3522) 评论(0) 推荐(3)
LSTM&GRU原理及pytroch实现
摘要：1.LSTM&GRU的原理 https://blog.csdn.net/jerr__y/article/details/58598296 https://github.com/starflyyy/Gated-Recurrent-Unit-GRU 2.多层LSTM pytorch里有一个num_lay 阅读全文
posted @ 2019-11-23 14:32 雨婷墨染 阅读(1655) 评论(0) 推荐(0)
Imbalance data——数据不平衡问题
摘要：1.决策树和LR会使结果偏向与训练集多的类别，训练集少的类别会当成噪音或者被忽视 2.没有很好的衡量不平衡问题的评价方法。 1. 重采样 resample a. Random under-sampling 随机删除类别多的数据集 i. 运行时间和占用内存少 ii. 会忽略掉有用的信息，建立规则分类是 阅读全文
posted @ 2019-02-27 15:04 雨婷墨染 阅读(1620) 评论(0) 推荐(0)
EBGAN
摘要：其框架图为： Loss如下，用了Energy base的思想，real image赋予低能量，fake image赋予高能量，可以防止再对抗的过程中D过强，使D(G(z))过大形不成对抗，可以增强稳定性。 pull-away loss 让生成的图像尽可能不一样，让loss减小，即生成图像的dec输出 阅读全文
posted @ 2018-04-25 22:21 雨婷墨染 阅读(321) 评论(0) 推荐(0)
Inception Score
摘要：Inception Score是衡量生成模型的个体特征和整体特征的方法。 个体特征：同一个GAN生成的图片应该属于一个类别，所以我们使用imageNet训练处理的Inception model,对图像进行分类，所以同一类的图像一个在某一类不确定性小，熵比较小。 整体特征：生成的图像要有多样性，即使他 阅读全文
posted @ 2018-04-25 20:26 雨婷墨染 阅读(1279) 评论(0) 推荐(0)
U_Net原理及tensorflow的实现
摘要：Unet——用于图像边缘检测，是FCN的改进 如上图是UNET的架构图，可以发现器输入图像和输出图像不一致，如果我们需要输入图像和输出图像一致时，在卷积时，使用padding=“SAME”即可，然后再边缘检测时，就相当与像素级别的二分类问题，用交叉熵做loss函数即可。但位置检测常用IOU作为los 阅读全文
posted @ 2018-03-24 11:50 雨婷墨染 阅读(4512) 评论(1) 推荐(0)
KL散度，VAE
摘要：KL散度（相对熵） 衡量两个概率分布的距离，两个概率分布越相似，KL散度越小，交叉熵越小。表示已知q，p的不确定性程度-p的不确定性程度 交叉熵：表示已知分布p后q的不确定程度，用已知分布p去编码q的平均码长 交叉熵在分类任务中为loss函数 往往交叉熵比均方误差做loss函数好 1.均方差求梯度太 阅读全文
posted @ 2018-03-24 11:29 雨婷墨染 阅读(2414) 评论(0) 推荐(0)
激活函数与权值初始化
摘要：1.sigmod函数——（tf.nn.sigmoid()） sigmod函数性质： 1.如图像所示其值域在[0,1]之间，函数输出不是0均值的，权重更新效率降低，因为这会导致后层的神经元的输入是非0均值的信号，这会对梯度产生影响：假设后层神经元的输入都为正(e.g. x>0 elementwise 阅读全文
posted @ 2018-03-18 23:07 雨婷墨染 阅读(2194) 评论(0) 推荐(0)
TFRecord及PAI上的第一个程序
摘要：TFRcord的原理 TFRecord是一种标准的Tensorflow格式，可以将任意的数据转换为TFRecord格式， 这种格式与网络应用架构相匹配，多线程的并行处理数据，速度快。TFRecords文件包含了tf.train.Example 协议内存块(protocol buffer)(协议内存块 阅读全文
posted @ 2018-03-17 20:34 雨婷墨染 阅读(485) 评论(1) 推荐(0)
ID3和C4.5的理论和应用
摘要：摘 要 本文是汽车评估系统的核心算法，利用决策树进行分类，本文对决策树进行了介绍，同时比较C4.5和ID3算法的不同，对C4.5提出随机深林的想法提高分类预测的准确性。 关键词：汽车评估，决策树，C4.5 决策树（Decision tree） 它从一组无次序、无规则的元组中推理出决策树表示形式的分类 阅读全文
posted @ 2017-07-17 09:58 雨婷墨染 阅读(2011) 评论(0) 推荐(0)