2020年7月31日
关于Dockerfile的写法
摘要： Dockerfile 介绍 Dockerfile是用来自定义构建镜像的文件，格式： FROM nginx RUN echo '这是一个本地构建的nginx镜像' > /usr/share/nginx/html/index.html docker 在每一行上新建一层，为了避免过多的层，用 && 把一些 阅读全文
posted @ 2020-07-31 21:20 twilight0402 阅读(370) 评论(0) 推荐(0) 编辑
Docker 常用命令整理
摘要： 容器 docker run ubuntu:18.04 echo hello docker 表示用18.04的ubuntu镜像新建一个容器，用这个容器来执行echo命令 docker run -i -t ubuntu [bash] 表示一个运行一个最新的ubuntu容器，并且进入到这个容器的bash中 阅读全文
posted @ 2020-07-31 17:43 twilight0402 阅读(233) 评论(0) 推荐(0) 编辑
2020年7月29日
Transformer 结构分析
摘要： self-attetion 1. 输入 \[ X = EmbeddingLookup(X) + PositionalEncoding \\ X.shape == (batch\_size, seq\_len, embedding\_dim) \] 2. 计算Q，K，V \[ Q = Linear(X 阅读全文
posted @ 2020-07-29 23:18 twilight0402 阅读(418) 评论(0) 推荐(1) 编辑
关于Position Encoding 的理解
摘要： encoding Sinusoidal Position Encoding \[ \begin{aligned} P E_{(p o s, 2 i)} &=\sin \left(\frac{p o s}{10000^{\frac{2 i}{d_{\text {model}}}}}\right) \\ 阅读全文
posted @ 2020-07-29 18:16 twilight0402 阅读(1333) 评论(0) 推荐(1) 编辑
Dropout原理分析
摘要： 工作流程 dropout用于解决过拟合，通过在每个batch中删除某些节点(cell)进行训练，从而提高模型训练的效果。 通过随机化一个伯努利分布，然后于输入y进行乘法，将对应位置的cell置零。然后y再去做下一层的前向传播。 \[ \begin{aligned} r_{j}^{(l)} & \si 阅读全文
posted @ 2020-07-29 12:03 twilight0402 阅读(906) 评论(0) 推荐(0) 编辑
2020年7月27日
各种优化器对比--BGD/SGD/MBGD/MSGD/NAG/Adagrad/Adam
摘要： 指数加权平均 (exponentially weighted averges) 先说一下指数加权平均， 公式如下： \[ v_{t}=\beta v_{t-1}+(1-\beta) \theta_{t} \] \(\theta_t\) 是第t天的观测值 \(v_t\) 是用来替代$\theta_t$ 阅读全文
posted @ 2020-07-27 11:26 twilight0402 阅读(454) 评论(0) 推荐(0) 编辑
RDF/RDFS/OWL
摘要： RDF(Resource Description Framework 资源描述框架) 知识总是以三元组形式出现： (subject, predicate, object) 即 (主，谓，宾) 资源和属性用URI来定义（http://demo.com/KG） 属性值可以一个值，或者一个资源(URI) 阅读全文
posted @ 2020-07-27 11:25 twilight0402 阅读(175) 评论(0) 推荐(0) 编辑
编辑距离（Minimum Edit Distance）
摘要： 编辑距离（Minimum Edit Distance，MED），也叫 Levenshtein Distance。他的含义是计算字符串a转换为字符串b的最少单字符编辑次数。编辑操作有：插入、删除、替换(都是对a进行的变换)。用lev(i, j) 表示 a的前i个单词和 b的前j个单词的最短编辑距离（即 阅读全文
posted @ 2020-07-27 11:24 twilight0402 阅读(509) 评论(0) 推荐(0) 编辑
词云（WordCloud）
摘要： WordCloud的参数： font_path：可用于指定字体路径 width：词云的宽度，默认为 400； height：词云的⾼度，默认为 200； mask：蒙版，可⽤于定制词云的形状； min_font_size：最⼩字号，默认为 4； max_font_size：最⼤字号，默认为词云的⾼度 阅读全文
posted @ 2020-07-27 11:23 twilight0402 阅读(650) 评论(0) 推荐(0) 编辑
Pandas常用方法
摘要： 数据处理很多需要用到pandas，有两个基本类型：Series表示一维数据，DataFrame表示多维。以下是一些常用方法的整理： pandas.Series 创建 Series pandas.Series( data, index, dtype, copy) name value data 数据采 阅读全文
posted @ 2020-07-27 11:22 twilight0402 阅读(131) 评论(0) 推荐(0) 编辑