摘要：
0、引言 本文记录使用pytorch、huggingface/transformer 框架工作流程，内容包括： 数据读取 数据预处理（split shuffle） 预训练模型下载和准备（预训练模型参数下载，模型对应Token及超参初始化） 模型训练、验证、结果测试 模型本地持久化 训练过程数据可视化 阅读全文
摘要：
0、背景 Transformer是2018年谷歌大佬们联手出品的用于替代RNN的模型，单单使用注意力机制，在该文中使用了多头自注意力，仅用线性变换来提取特征信息，能够极大程度提升并行性，且准确性也有大幅提升。 Transformer被提出用于机器翻译领域，但后续在基于Transformer或BERT 阅读全文
摘要：
零、背景及引言 本文是对Sequence to Sequence Learning with Neural Networks文章阅读后的总结。 在不同的学习任务中，传统深度神经网络（DNN）是表现不错的强力模型，如在图像分类、语音识别领域，但DNN由于不能适应输入输出不固定的情况，导致其不能够用于序 阅读全文
摘要：
零、摘要及背景介绍 本文是对Bidirectional LSTM-CRF Models for Sequence Tagging的总结，原文作者提出了基于LSTM(Long Short Term Memory)的一系列网络来用于序列标注。 其网络有单向LSTM、双向LSTM（BILSTM)及单向LS 阅读全文
摘要：
零、背景介绍 Evaluation methods for unsupervised word embeddings介绍无监督学习场景下的词向量评估方法。词嵌入Embedding 的评估方法主要分两个方向，内在评估和外在评估。 外在评估是以Embedding 向量作为下游任务的特征输入，并从任务的具 阅读全文
摘要：
【零、背景简介】 XGBoost 于2016年由陈天奇提出，一种用于可扩展的分布式的大规模机器学习算法，在Kaggle多项比赛中高频获奖。 核心思想是基于残差的树Boosting，它在建树计算split点、泰勒2阶展开计算损失、正则处理、特殊值处理（如空值处理）、列采样、系统并行化等方面做足了功夫， 阅读全文
摘要：
【引言】 最近在用可变卷积的rfcn 模型迁移训练自己的数据集， MSRA官方使用的MXNet框架 环境搭建及配置：http://www.cnblogs.com/andre-ma/p/8867031.html 一 参数修改： 1.1 ~/Deformable-ConvNets/experiments 阅读全文
摘要：
【引言】最近接手了公司的关于虫子识别的项目，使用MXNet框架开发，但是实际用的是Deformable-ConvNets. Deformable-ConvNets为微软研究研究院提出的可变卷积网络，可用于对图像中大小不一的物体识别，不是单单识别图中的猫和狗（它们都一般大小），而识别图像中不同种类的虫 阅读全文
摘要：
在深度神经网络中，超参数的调整是一项必备技能，通过观察在训练过程中的监测指标如损失loss和准确率来判断当前模型处于什么样的训练状态，及时调整超参数以更科学地训练模型能够提高资源利用率。在本研究中使用了以下超参数，下面将分别介绍并总结了不同超参数的调整规则。 （1）学习率 学习率（learning 阅读全文
摘要：
1、安装docker yum install docker ## CentOS apt install docker.io ## ubuntu 2、启动、配置 安装好后启动service docker start报错： Cannot connect to the Docker daemon at u 阅读全文
摘要：
一、config配置文件 为了使得一台电脑（假设Windows)可以同时连接不同的git仓库，只需在用户主目录下的.ssh文件夹下 C:\Users\用户名\.ssh 配置config文件，里面列举不同git仓库对应的配置信息 Host github.com HostName github.com 阅读全文
摘要：
零、引言 图库Neo4j使用cypher语句为基本操作语言，本文总结一些关键字的使用方法 一、关键词总结 1.1 Load csv 读取文件 load csv with headers from 'file:///ces.csv' as line with line, linenumber()-1 阅读全文
摘要：
图库Neo4j插入数据有多种方法，其效率相差较大，而且部分高效插入方式需停止服务，更适合初始化时导入（当系统运行期间不适合导入） 这里主要推崇： apoc插件方式，功能强大且可定义动态label； 以及原生的cypher语句插入，只是可用不同的事务来优化执行效率（显示事务可批量提交多条语句） Ref 阅读全文
摘要：
如题 Ubuntu16 解决： 无法获得锁 /var/lib/dpkg/lock-frontend - open (11: 资源暂时不可用 无法锁定管理目录(/var/lib/dpkg/)，是否有其他进程正占用它 原因： 在使用apt install 安装程序时，如果在未完成下载的情况下将终端clo 阅读全文
摘要：
1、引言 Neo4j是图数据库中单节点最受欢迎的一款产品，虽然不支持分布式，但是Neo4j无论从功能、性能、社区活跃度等都是非常高的。 Neo4j社区版 依赖Java，不同版本的Neo4j依赖不同版本的Java， 目前最新版4.1.x依赖Java11. 几点建议： 如果熟悉使用neo4j，可用较高版 阅读全文
摘要：
如题，win10环境配置pycharm 报错： Error processing line 7 of D:\softwares\Anaconda3\lib\site-packages\pywin32.pth 全部异常如下： Error processing line 7 of D:\Python-x 阅读全文
摘要：
1、安装依赖库 64位系统需安装 vcredist_x64.exe 和 vcredist_x86.exe 32位系统需安装 vcredist_x86.exe 2、以“管理员身份” 运行 “绿化.bat”脚本 3、上述步骤成功后，可直接运行xshelll6.0.exe 阅读全文
摘要：
在服务器Ubuntu16-64bit上安装了Anaconda3，并配置好jupyter参数， 启动时却报错： Traceback (most recent call last): File "/root/anaconda3/lib/python3.6/runpy.py", line 193, in 阅读全文