fnangle

摘要： 背景介绍 （风控场景下） 壮阳团伙早期通过强介质关联就能较为准确的识别，随着对抗加深，团伙间的关系逐渐由强中关联转移到弱关联，如x月的壮阳case，团伙间都仅在操作IP、注册设备等弱介质上有相关性，而强介质各不相同。在我们的视角，如果某个IP被大量用户使用，则认为该IP异常的可能性比较大，而如果某个 阅读全文

摘要： 简介 hook是钩子，主要作用是不修改主代码，能通过挂载钩子实现额外功能。 pytorch中，主体就是forward和backward，而额外的功能就是对模型的变量进行操作，如“提取”特征图，“提取”非叶子张量的梯度，修改张量梯度等等。hook功能即不必改变网络输入输出的结构，就能方便地获取、改变网 阅读全文

摘要： 给定一个数据流，数据流长度N很大，且N直到处理完所有数据之前都不可知，请问如何在只遍历一遍数据（O(N)）的情况下，能够随机选取出m个不重复的数据。 这个场景强调了3件事： 数据流长度N很大且不可知，所以不能一次性存入内存。 时间复杂度为O(N)。 随机选取m个数，每个数被选中的概率为m/N。 面试 阅读全文

摘要： 小菜鸡lz自己记录一下transformer中的维度变换。。。 部分名词简写：self- attention（SAN）、residual（RS） 对于输入input: [batch_size , max_sen_len]词嵌入矩阵vocab_matrix dim: [vocab_size , emb 阅读全文

摘要： 根据Survey of Data-Selection Methods in Statistical Machine Translation的总结，MT中的数据选择分类图如下： 使用场景 数据使用的场景决定了选择什么样的数据，及该方法要解决什么问题。 Improve Quality：Domain Im 阅读全文

摘要： Curriculum Learning主要有两个关键：①训练样本的难度定义；②训练的策略 本文总结一下看过的不同论文中出现的训练策略或者样本难度，主要与NMT相关。 持续更新。。。 2020之前的论文 Curriculum Learning 在shape recognition任务上是达到switc 阅读全文

摘要： ##1.linux下安装crf工具包 先下载CRF++-0.58.tar.xz，在Linux环境下安装CRF工具包 https://github.com/taku910/crfpp 解压到某一个目录下面 打开控制台，切换到解压目录 依次输入命令： ./configure sudo make sudo 阅读全文

摘要： 区分几种解码策略Beam Search, Random Sampling, Top-K, and Nucleus 阅读全文

摘要： 跑一个使用jieba分词的脚本出现问题 报错如下： Building prefix dict from the default dictionary ... Loading model from cache /tmp/jieba.cache Dumping model to file cache / 阅读全文

摘要： pytorch的并行分为模型并行、数据并行 源码详见我的github: TextCNN_parallel，个人总结，还有很多地方理解不到位，求轻喷。 左侧模型并行：是网络太大，一张卡存不了，那么拆分，然后进行模型并行训练。 右侧数据并行：多个显卡同时采用数据训练网络的副本。 模型并行 数据并行 数据 阅读全文