摘要: 目录 1. 软件安装 2 Sample源文件下载: 3. 生成步骤 3.1 使用doxygen生成html文件 3.2 使用docsetutil 生成 dash/Zeal 格式 1. 软件安装: 1. brew install doxygen 2. brew install swiftdocorg/ 阅读全文
posted @ 2021-12-14 12:25 龚细军 阅读(191) 评论(0) 推荐(0) 编辑
摘要: 使用这个allow_user_poisoning=0,来取消 以这个例子为例: // example1.cpp // use-after-poison error #include <stdlib.h> extern "C" void __asan_poison_memory_region(void 阅读全文
posted @ 2021-11-05 13:23 龚细军 阅读(656) 评论(1) 推荐(1) 编辑
摘要: #!/usr/bin/env python # -*- coding: utf-8 -*- from __future__ import absolute_import from __future__ import print_function from __future__ import unic 阅读全文
posted @ 2021-01-28 11:15 龚细军 阅读(292) 评论(0) 推荐(0) 编辑
摘要: NN[神经网络]中embedding的dense和sparse是什么意思? dense 表示稠密,在embedding中的dense时: 假设我们有这样一个句子: “北京是北京”,我们将其数值化表示为: dense embedding,需要你讲它转换成onehot表示: 假设embedding对输出 阅读全文
posted @ 2020-06-09 18:51 龚细军 阅读(5288) 评论(0) 推荐(1) 编辑
摘要: docker重启发现出现如下信息: time="2020-02-27T22:22:23.175963637+08:00" level=info msg="libcontainerd: new containerd process, pid: 24984" time="2020-02-27T22:22 阅读全文
posted @ 2020-02-27 22:54 龚细军 阅读(535) 评论(0) 推荐(0) 编辑
摘要: 结果: 阅读全文
posted @ 2020-01-08 14:57 龚细军 阅读(1019) 评论(0) 推荐(0) 编辑
摘要: 使用小批量数据时,模型容易过拟合,所以需要对全量数据进行处理,我是用的是word2vec训练的词向量. 那么训练好对词向量如何加载呢? 阅读全文
posted @ 2019-12-05 12:11 龚细军 阅读(983) 评论(2) 推荐(0) 编辑
摘要: 问题描述: 没错,发生了段错误,使用gdb 跟踪信息,也没找到,也就是无法使用多进程,只能串行. 解决方案: 阅读全文
posted @ 2019-09-03 18:51 龚细军 阅读(482) 评论(0) 推荐(0) 编辑
摘要: 将多个模型部署到同一个服务时,会出现stack错误. 原因是program为全局. 改成这样,可以解决. solved by myself. for those who need it:use a new scope for every model scope = fluid.Scope() wit 阅读全文
posted @ 2019-06-11 12:22 龚细军 阅读(999) 评论(0) 推荐(0) 编辑
摘要: 最近在做分布式模型实现时,使用到了这个函数. 可以说非常体验非常的好. 速度非常快,效果和softmax差不多. 我们知道softmax在求解的时候,它的时间复杂度和我们的词表总量V一样O(V),是性线性的,从它的函数方程式中,我们也可以很容易得出: softmax: f(x) = e^x / su 阅读全文
posted @ 2019-01-10 15:55 龚细军 阅读(943) 评论(1) 推荐(1) 编辑
摘要: std::nothrow 意思是说,不要跑出异常,改为返回一个nullptr. 一般的使用场景是,建议new的时候使用,避免使用try catch来捕捉异常. 比如: 阅读全文
posted @ 2019-01-05 16:00 龚细军 阅读(1865) 评论(0) 推荐(0) 编辑
摘要: 结果: 阅读全文
posted @ 2018-12-25 19:21 龚细军 阅读(2451) 评论(0) 推荐(1) 编辑
摘要: 雅克比迭代,一般用来对线性方程组,进行求解。形如: $a_{11} x_{1} + a_{12} x_{2} + a_{13} x_{3} = b_{1}$ $a_{21} x_{1} + a_{22} x_{2} + a_{23} x_{3} = b_{2}$ $a_{31} x_{1} + a_ 阅读全文
posted @ 2018-12-20 14:52 龚细军 阅读(5138) 评论(0) 推荐(0) 编辑
摘要: 思想: (1) 对于一个nxm的数组,使用N个work进行处理. (2) 先按行对数组进行升序和降序排序【由左至右】,一般奇数序列work升序,偶数序号的work进行降序 (3)再按列对数组进行升序排序【由上至下】 (4)当数据不再发生变化时,终止退出. c++ / Version : ?? Fil 阅读全文
posted @ 2018-12-18 16:04 龚细军 阅读(976) 评论(0) 推荐(0) 编辑
摘要: 问题 对多维度特征进行topk排序,使用c++ 优先队列模拟最大堆. c++ / Version : ?? File Name : dm2.py Description : Author : xijun1 Email : Date : 2018/12/7 Change Activity : 2018 阅读全文
posted @ 2018-12-12 11:40 龚细军 阅读(508) 评论(0) 推荐(0) 编辑
摘要: 使用tensorflow批次的读取预处理之后的文本数据,并将其分为一个迭代器批次: 比如此刻,我有一个处理之后的数据包: data.csv shape =(8,10),其中这个结构中,前五个列为feature , 后五列为label 现在我需要将其分为4个批次: 也就是每个批次batch的大小为2 阅读全文
posted @ 2018-11-30 18:14 龚细军 阅读(2981) 评论(0) 推荐(0) 编辑
摘要: 在python中,命令行接口常用的argparse 和click,但是相对于python-fire 来说灵活度太缺了,fire可以直接将python中的函数,以命令行显示. 简单的介绍几个例子: 执行的格式为: python 如果fire.Fire()没有指定名称时: 需要在执行命令行时,带入函数名 阅读全文
posted @ 2018-11-30 10:48 龚细军 阅读(1572) 评论(0) 推荐(0) 编辑
摘要: 样例: 我爱使用小米手机玩王者荣耀 -> 我<S>爱<S>使<B>用<E>小<B>米<M>手<M>机<E>玩<S>王<B>者<M>荣<M>耀<E> 样例: 我爱使用小米手机玩王者荣耀 -> 我<S>爱<S>使<C>用<S>小<C>米<C>手<C>机<S>玩<S>王<C>者<C>荣 阅读全文
posted @ 2018-11-29 19:34 龚细军 阅读(1344) 评论(0) 推荐(0) 编辑
摘要: 这种问题是,对于每一个变量 variable 由于是基于protobuf存在这大小限制(2G),这个时候,我们需要将embedding拆开,拆分成N等分,来使得每一个 variable都在2G以下; 结果为: 阅读全文
posted @ 2018-11-21 16:35 龚细军 阅读(2330) 评论(1) 推荐(0) 编辑
摘要: 当我们在build一个文件时,需要另外的放置cache时,我们需要: bazel --output_user_root=/path/to/directory build //foo:bar 阅读全文
posted @ 2018-11-14 10:50 龚细军 阅读(345) 评论(0) 推荐(0) 编辑
摘要: 最近感觉对EM算法有一点遗忘,在表述的时候,还是有一点说不清,于是重新去看了这篇<CS229 Lecture notes>笔记. 于是有了这篇小札. 关于Jensen's inequality不等式: Corollary(推论): 如果函数f(x)为凸函数,那么在 f(x) 上任意两点X1,X2所作 阅读全文
posted @ 2018-10-17 18:17 龚细军 阅读(1006) 评论(0) 推荐(0) 编辑
摘要: 目录: 4. 评估N-gram的模型. 前言: N-gram是机器学习中NLP处理中的一个较为重要的语言模型,常用来做句子相似度比较,模糊查询,以及句子合理性,句子矫正等. 再系统的介绍N-gram前,我们先了解一下这几种概率. 正文: 1、联合概率介绍: 形如:p(W1,....,Wn); 表示的 阅读全文
posted @ 2018-06-13 17:25 龚细军 阅读(9781) 评论(0) 推荐(1) 编辑
摘要: 1. 我们要重启这个镜像,需要知道这个镜像ID,类似这个: 那么你可以跳过下面的这个步骤: 1. 我们先找到docker 的存放位置,默认的docker 镜像防止在/var/lib/docekr 位置,但是一般来说var的目录比较小,如果我们存的image镜像比较大的话,可能需要修改默认存储地址,这 阅读全文
posted @ 2018-05-08 10:09 龚细军 阅读(3446) 评论(0) 推荐(0) 编辑
摘要: caffe这个框架设计的比较小巧精妙,它采用了protobuf来作为交互的媒介,避免了繁重的去设计各个语言的接口,开发者可以使用任意语言通过这个protobuf这个媒介,来运行这个框架. 我们这里不过多的去阐述caffe的过往以及未来,只是简单的描述一下,caffe框架中的protobuf的作用,以 阅读全文
posted @ 2018-05-02 16:43 龚细军 阅读(2567) 评论(0) 推荐(0) 编辑
摘要: 少说废话,每一步都经过验证: 1. 首先查看一下当前使用的linux版本: gxjun@gxjun:~$ uname -r4.8.0-59-generic 2. 将360wifi插入PC的USB中,然后输入: 注明: 如果不确定那个是360wifi的网卡型号,可以先不插入260wifi,输入lsus 阅读全文
posted @ 2018-04-07 23:06 龚细军 阅读(1777) 评论(0) 推荐(0) 编辑
摘要: ##TF-IDF TF(词频): 假定存在一份有N个词的文件A,其中‘明星‘这个词出现的次数为T。那么 TF = T/N; 所以表示为: 某一个词在某一个文件中出现的频率. TF-IDF(词频-逆向文件频率): 表示的词频和逆向文件频率的乘积. 比如: 假定存在一份有N个词的文件A,其中‘明星‘这个 阅读全文
posted @ 2018-03-29 23:26 龚细军 阅读(3362) 评论(0) 推荐(0) 编辑
摘要: 注意:论文中,很多的地方出现baseline,可以理解为参照物的意思,但是在论文中,我们还是直接将它称之为基线, 也就是对照物,参照物. 这片论文中,作者没有去做实际的实验,但是却做了一件很有意义的事,他收罗了近些年所有推荐系统中涉及到深度学习的文章 ,并将这些文章进行分类,逐一分析,然后最后给出了 阅读全文
posted @ 2018-01-19 15:38 龚细军 阅读(2081) 评论(0) 推荐(1) 编辑
摘要: 我们有时候在对组数进行操作时候,偶尔会出现这个问题. 比如: 会出现这个问题: 这个问题的原因是object没有log操作:上述操作等同于 将object对象,改成base类型就可以了. 结果: 完. 阅读全文
posted @ 2018-01-05 11:47 龚细军 阅读(4150) 评论(0) 推荐(0) 编辑
摘要: 今天写了部分代码,在添加到项目中后就那些编译,出现问题如下: 部分源代码: 刚开始以为是makefile 没有写好,仔细核对后,发现原来继承类Layer用的模板类,在继承的时候没有指定类型。而造成这个错误. 耽误好几个小时,跪. 改为这个之后,顺利通过,记录下这个有趣的过程. 完. 阅读全文
posted @ 2017-12-25 18:12 龚细军 阅读(756) 评论(0) 推荐(0) 编辑
摘要: 无论是深度学习还是机器学习,大多情况下训练中都会遇到这几个参数,今天依据我自己的理解具体的总结一下,可能会存在错误,还请指正. learning_rate , weight_decay , momentum这三个参数的含义. 并附上demo. 我们会使用一个例子来说明一下: 比如我们有一堆数据,我们 阅读全文
posted @ 2017-12-15 11:18 龚细军 阅读(11603) 评论(1) 推荐(1) 编辑
摘要: 哇塞,好久么有跟进mxnet啦,python改版了好多好多啊,突然发现C++用起来才是最爽的. 贴一个mxnet中的C++Example中的mlp网络和实现,感觉和python对接毫无违和感。真是一级棒呐. 结果: poch 18900 Accuracy: 0.703125epoch 19000 A 阅读全文
posted @ 2017-12-08 16:11 龚细军 阅读(6774) 评论(5) 推荐(0) 编辑
摘要: 在没有出现sppnet之前,RCNN使用corp和warp来对图片进行大小调整,这种操作会造成图片信息失真和信息丢失。sppnet这个模型推出来之后(关于这个网络的描述,可以看看之前写的一篇理解:http://www.cnblogs.com/gongxijun/p/7172134.html),rg大 阅读全文
posted @ 2017-10-23 17:49 龚细军 阅读(9078) 评论(0) 推荐(0) 编辑
摘要: 参考资料: 对偶函数-http://blog.pluskid.org/?p=702 KTT和拉格朗日乘子-http://www.cnblogs.com/zhangchaoyang/articles/2726873.html SVM推倒:http://blog.sina.com.cn/s/blog_4 阅读全文
posted @ 2017-10-20 18:27 龚细军 阅读(828) 评论(0) 推荐(0) 编辑
摘要: 附上y=2x-b拟合的简单的代码. 阅读全文
posted @ 2017-09-12 15:55 龚细军 阅读(1158) 评论(1) 推荐(0) 编辑
摘要: 这里记录下一些关于牛顿法来作为优化器的个人笔记 :) 关于牛顿法,先不说其中的概念,来简单看一个例子? 不用计算器,如何手动开一个值的平方根,比如计算{sqrt(a) | a=4 } ? 不用程序和代码如何求? 比较简单有木有,直接上用公式来套就好了. xt = ( xt-1 + ( a / xt- 阅读全文
posted @ 2017-09-08 19:29 龚细军 阅读(670) 评论(0) 推荐(0) 编辑
摘要: 对于不同类型的模型,会有不同的评估指标,那么我们从最直接的回归和分类这两个类型,对于结果连续的回归问题, 一般使用的大致为:MSE(均方差),MAE(绝对平均差),RMSE(根均方差)这三种评估方法,这三种方式公式此处补贴出来。 对于离散的分类问题,我们一般看ROC曲线,以及AUC曲线,一般好的模型 阅读全文
posted @ 2017-08-29 17:56 龚细军 阅读(1506) 评论(0) 推荐(0) 编辑
摘要: linux相关问题: 1.这几天在使用乌班图时,出现文件夹打开一闪而过现象,于是我试着使用命令行来启动: 出现下面这一堆错误(error_info): 解决方法: 使用这种命令打开nautilus,正常启动了文件夹,然后使用上面命令也可以开启文件夹了,在桌面也可以点开文件夹了,唉,莫名其妙的就解决了 阅读全文
posted @ 2017-08-28 10:03 龚细军 阅读(1237) 评论(0) 推荐(0) 编辑
摘要: PIL 全称:Pillow 在使用PIL4.2.1版本读取jpeg文件时,报cannot identify image file,去github源查找原因:https://github.com/python-pillow/Pillow/issues/2628 ,感觉坑比较大,所以回避了这个版本 重新 阅读全文
posted @ 2017-08-10 10:42 龚细军 阅读(311) 评论(0) 推荐(0) 编辑
摘要: 我们使用一个三层的小网络来,模拟函数y = x^3+b函数 1 import tensorflow as tf 2 import numpy as np 3 import matplotlib.pyplot as plt 4 5 #训练数据 6 x_data = np.linspace(-6.0,6 阅读全文
posted @ 2017-08-02 14:56 龚细军 阅读(901) 评论(0) 推荐(0) 编辑
摘要: 前言: 对于深度学习来说,各种框架torch,caffe,keras,mxnet,tensorflow,pandapanda环境要求各一,如果我们在一台服务器上部署了较多的这样的框架,那么各种莫名的冲突 会一直伴随着你,吃过很多次亏之后,慢慢的接触了Anaconda,真的是很爽的一个功能,来管理环境 阅读全文
posted @ 2017-07-17 15:16 龚细军 阅读(1950) 评论(0) 推荐(0) 编辑