摘要:
目录 1. 软件安装 2 Sample源文件下载: 3. 生成步骤 3.1 使用doxygen生成html文件 3.2 使用docsetutil 生成 dash/Zeal 格式 1. 软件安装: 1. brew install doxygen 2. brew install swiftdocorg/ 阅读全文
摘要:
使用这个allow_user_poisoning=0,来取消 以这个例子为例: // example1.cpp // use-after-poison error #include <stdlib.h> extern "C" void __asan_poison_memory_region(void 阅读全文
摘要:
#!/usr/bin/env python # -*- coding: utf-8 -*- from __future__ import absolute_import from __future__ import print_function from __future__ import unic 阅读全文
摘要:
NN[神经网络]中embedding的dense和sparse是什么意思? dense 表示稠密,在embedding中的dense时: 假设我们有这样一个句子: “北京是北京”,我们将其数值化表示为: dense embedding,需要你讲它转换成onehot表示: 假设embedding对输出 阅读全文
摘要:
docker重启发现出现如下信息: time="2020-02-27T22:22:23.175963637+08:00" level=info msg="libcontainerd: new containerd process, pid: 24984" time="2020-02-27T22:22 阅读全文
摘要:
结果: 阅读全文
摘要:
使用小批量数据时,模型容易过拟合,所以需要对全量数据进行处理,我是用的是word2vec训练的词向量. 那么训练好对词向量如何加载呢? 阅读全文
摘要:
问题描述: 没错,发生了段错误,使用gdb 跟踪信息,也没找到,也就是无法使用多进程,只能串行. 解决方案: 阅读全文
摘要:
将多个模型部署到同一个服务时,会出现stack错误. 原因是program为全局. 改成这样,可以解决. solved by myself. for those who need it:use a new scope for every model scope = fluid.Scope() wit 阅读全文
摘要:
最近在做分布式模型实现时,使用到了这个函数. 可以说非常体验非常的好. 速度非常快,效果和softmax差不多. 我们知道softmax在求解的时候,它的时间复杂度和我们的词表总量V一样O(V),是性线性的,从它的函数方程式中,我们也可以很容易得出: softmax: f(x) = e^x / su 阅读全文
摘要:
std::nothrow 意思是说,不要跑出异常,改为返回一个nullptr. 一般的使用场景是,建议new的时候使用,避免使用try catch来捕捉异常. 比如: 阅读全文
摘要:
结果: 阅读全文
摘要:
雅克比迭代,一般用来对线性方程组,进行求解。形如: $a_{11} x_{1} + a_{12} x_{2} + a_{13} x_{3} = b_{1}$ $a_{21} x_{1} + a_{22} x_{2} + a_{23} x_{3} = b_{2}$ $a_{31} x_{1} + a_ 阅读全文
摘要:
思想: (1) 对于一个nxm的数组,使用N个work进行处理. (2) 先按行对数组进行升序和降序排序【由左至右】,一般奇数序列work升序,偶数序号的work进行降序 (3)再按列对数组进行升序排序【由上至下】 (4)当数据不再发生变化时,终止退出. c++ / Version : ?? Fil 阅读全文
摘要:
问题 对多维度特征进行topk排序,使用c++ 优先队列模拟最大堆. c++ / Version : ?? File Name : dm2.py Description : Author : xijun1 Email : Date : 2018/12/7 Change Activity : 2018 阅读全文
摘要:
使用tensorflow批次的读取预处理之后的文本数据,并将其分为一个迭代器批次: 比如此刻,我有一个处理之后的数据包: data.csv shape =(8,10),其中这个结构中,前五个列为feature , 后五列为label 现在我需要将其分为4个批次: 也就是每个批次batch的大小为2 阅读全文
摘要:
在python中,命令行接口常用的argparse 和click,但是相对于python-fire 来说灵活度太缺了,fire可以直接将python中的函数,以命令行显示. 简单的介绍几个例子: 执行的格式为: python 如果fire.Fire()没有指定名称时: 需要在执行命令行时,带入函数名 阅读全文
摘要:
样例: 我爱使用小米手机玩王者荣耀 -> 我<S>爱<S>使<B>用<E>小<B>米<M>手<M>机<E>玩<S>王<B>者<M>荣<M>耀<E> 样例: 我爱使用小米手机玩王者荣耀 -> 我<S>爱<S>使<C>用<S>小<C>米<C>手<C>机<S>玩<S>王<C>者<C>荣 阅读全文
摘要:
这种问题是,对于每一个变量 variable 由于是基于protobuf存在这大小限制(2G),这个时候,我们需要将embedding拆开,拆分成N等分,来使得每一个 variable都在2G以下; 结果为: 阅读全文
摘要:
当我们在build一个文件时,需要另外的放置cache时,我们需要: bazel --output_user_root=/path/to/directory build //foo:bar 阅读全文
摘要:
最近感觉对EM算法有一点遗忘,在表述的时候,还是有一点说不清,于是重新去看了这篇<CS229 Lecture notes>笔记. 于是有了这篇小札. 关于Jensen's inequality不等式: Corollary(推论): 如果函数f(x)为凸函数,那么在 f(x) 上任意两点X1,X2所作 阅读全文
摘要:
目录: 4. 评估N-gram的模型. 前言: N-gram是机器学习中NLP处理中的一个较为重要的语言模型,常用来做句子相似度比较,模糊查询,以及句子合理性,句子矫正等. 再系统的介绍N-gram前,我们先了解一下这几种概率. 正文: 1、联合概率介绍: 形如:p(W1,....,Wn); 表示的 阅读全文
摘要:
1. 我们要重启这个镜像,需要知道这个镜像ID,类似这个: 那么你可以跳过下面的这个步骤: 1. 我们先找到docker 的存放位置,默认的docker 镜像防止在/var/lib/docekr 位置,但是一般来说var的目录比较小,如果我们存的image镜像比较大的话,可能需要修改默认存储地址,这 阅读全文
摘要:
caffe这个框架设计的比较小巧精妙,它采用了protobuf来作为交互的媒介,避免了繁重的去设计各个语言的接口,开发者可以使用任意语言通过这个protobuf这个媒介,来运行这个框架. 我们这里不过多的去阐述caffe的过往以及未来,只是简单的描述一下,caffe框架中的protobuf的作用,以 阅读全文
摘要:
少说废话,每一步都经过验证: 1. 首先查看一下当前使用的linux版本: gxjun@gxjun:~$ uname -r4.8.0-59-generic 2. 将360wifi插入PC的USB中,然后输入: 注明: 如果不确定那个是360wifi的网卡型号,可以先不插入260wifi,输入lsus 阅读全文
摘要:
##TF-IDF TF(词频): 假定存在一份有N个词的文件A,其中‘明星‘这个词出现的次数为T。那么 TF = T/N; 所以表示为: 某一个词在某一个文件中出现的频率. TF-IDF(词频-逆向文件频率): 表示的词频和逆向文件频率的乘积. 比如: 假定存在一份有N个词的文件A,其中‘明星‘这个 阅读全文
摘要:
注意:论文中,很多的地方出现baseline,可以理解为参照物的意思,但是在论文中,我们还是直接将它称之为基线, 也就是对照物,参照物. 这片论文中,作者没有去做实际的实验,但是却做了一件很有意义的事,他收罗了近些年所有推荐系统中涉及到深度学习的文章 ,并将这些文章进行分类,逐一分析,然后最后给出了 阅读全文
摘要:
我们有时候在对组数进行操作时候,偶尔会出现这个问题. 比如: 会出现这个问题: 这个问题的原因是object没有log操作:上述操作等同于 将object对象,改成base类型就可以了. 结果: 完. 阅读全文
摘要:
今天写了部分代码,在添加到项目中后就那些编译,出现问题如下: 部分源代码: 刚开始以为是makefile 没有写好,仔细核对后,发现原来继承类Layer用的模板类,在继承的时候没有指定类型。而造成这个错误. 耽误好几个小时,跪. 改为这个之后,顺利通过,记录下这个有趣的过程. 完. 阅读全文
摘要:
无论是深度学习还是机器学习,大多情况下训练中都会遇到这几个参数,今天依据我自己的理解具体的总结一下,可能会存在错误,还请指正. learning_rate , weight_decay , momentum这三个参数的含义. 并附上demo. 我们会使用一个例子来说明一下: 比如我们有一堆数据,我们 阅读全文
摘要:
哇塞,好久么有跟进mxnet啦,python改版了好多好多啊,突然发现C++用起来才是最爽的. 贴一个mxnet中的C++Example中的mlp网络和实现,感觉和python对接毫无违和感。真是一级棒呐. 结果: poch 18900 Accuracy: 0.703125epoch 19000 A 阅读全文
摘要:
在没有出现sppnet之前,RCNN使用corp和warp来对图片进行大小调整,这种操作会造成图片信息失真和信息丢失。sppnet这个模型推出来之后(关于这个网络的描述,可以看看之前写的一篇理解:http://www.cnblogs.com/gongxijun/p/7172134.html),rg大 阅读全文
摘要:
参考资料: 对偶函数-http://blog.pluskid.org/?p=702 KTT和拉格朗日乘子-http://www.cnblogs.com/zhangchaoyang/articles/2726873.html SVM推倒:http://blog.sina.com.cn/s/blog_4 阅读全文
摘要:
附上y=2x-b拟合的简单的代码. 阅读全文
摘要:
这里记录下一些关于牛顿法来作为优化器的个人笔记 :) 关于牛顿法,先不说其中的概念,来简单看一个例子? 不用计算器,如何手动开一个值的平方根,比如计算{sqrt(a) | a=4 } ? 不用程序和代码如何求? 比较简单有木有,直接上用公式来套就好了. xt = ( xt-1 + ( a / xt- 阅读全文
摘要:
对于不同类型的模型,会有不同的评估指标,那么我们从最直接的回归和分类这两个类型,对于结果连续的回归问题, 一般使用的大致为:MSE(均方差),MAE(绝对平均差),RMSE(根均方差)这三种评估方法,这三种方式公式此处补贴出来。 对于离散的分类问题,我们一般看ROC曲线,以及AUC曲线,一般好的模型 阅读全文
摘要:
linux相关问题: 1.这几天在使用乌班图时,出现文件夹打开一闪而过现象,于是我试着使用命令行来启动: 出现下面这一堆错误(error_info): 解决方法: 使用这种命令打开nautilus,正常启动了文件夹,然后使用上面命令也可以开启文件夹了,在桌面也可以点开文件夹了,唉,莫名其妙的就解决了 阅读全文
摘要:
PIL 全称:Pillow 在使用PIL4.2.1版本读取jpeg文件时,报cannot identify image file,去github源查找原因:https://github.com/python-pillow/Pillow/issues/2628 ,感觉坑比较大,所以回避了这个版本 重新 阅读全文
摘要:
我们使用一个三层的小网络来,模拟函数y = x^3+b函数 1 import tensorflow as tf 2 import numpy as np 3 import matplotlib.pyplot as plt 4 5 #训练数据 6 x_data = np.linspace(-6.0,6 阅读全文
摘要:
前言: 对于深度学习来说,各种框架torch,caffe,keras,mxnet,tensorflow,pandapanda环境要求各一,如果我们在一台服务器上部署了较多的这样的框架,那么各种莫名的冲突 会一直伴随着你,吃过很多次亏之后,慢慢的接触了Anaconda,真的是很爽的一个功能,来管理环境 阅读全文