Joshua王子 - 博客园

[置顶] 【pytorch-huggingface/transformer】工作流程整理（未完成）

摘要： 0、引言本文记录使用pytorch、huggingface/transformer 框架工作流程，内容包括：数据读取数据预处理（split shuffle）预训练模型下载和准备（预训练模型参数下载，模型对应Token及超参初始化）模型训练、验证、结果测试模型本地持久化训练过程数据可视化阅读全文

posted @ 2021-09-14 17:23 Joshua王子阅读(861) 评论(0) 推荐(0)

[置顶] 对【Attention is all your need!!】的理解

摘要： 0、背景 Transformer是2018年谷歌大佬们联手出品的用于替代RNN的模型，单单使用注意力机制，在该文中使用了多头自注意力，仅用线性变换来提取特征信息，能够极大程度提升并行性，且准确性也有大幅提升。 Transformer被提出用于机器翻译领域，但后续在基于Transformer或BERT 阅读全文

posted @ 2020-08-13 18:31 Joshua王子阅读(1209) 评论(0) 推荐(0)

[置顶] 对【Sequence to Sequence Learning with Neural Networks】的理解

摘要：零、背景及引言本文是对Sequence to Sequence Learning with Neural Networks文章阅读后的总结。在不同的学习任务中，传统深度神经网络（DNN）是表现不错的强力模型，如在图像分类、语音识别领域，但DNN由于不能适应输入输出不固定的情况，导致其不能够用于序阅读全文

posted @ 2020-08-02 23:26 Joshua王子阅读(817) 评论(0) 推荐(0)

[置顶] 对【Bidirectional LSTM-CRF Models for Sequence Tagging】的理解

摘要：零、摘要及背景介绍本文是对Bidirectional LSTM-CRF Models for Sequence Tagging的总结，原文作者提出了基于LSTM(Long Short Term Memory)的一系列网络来用于序列标注。其网络有单向LSTM、双向LSTM（BILSTM)及单向LS 阅读全文

posted @ 2020-07-19 22:34 Joshua王子阅读(1240) 评论(0) 推荐(0)

[置顶] 对【Evaluation methods for unsupervised word embeddings 】的理解

摘要：零、背景介绍 Evaluation methods for unsupervised word embeddings介绍无监督学习场景下的词向量评估方法。词嵌入Embedding 的评估方法主要分两个方向，内在评估和外在评估。外在评估是以Embedding 向量作为下游任务的特征输入，并从任务的具阅读全文

posted @ 2020-07-05 23:27 Joshua王子阅读(609) 评论(0) 推荐(1)

[置顶] 对【XGBoost】的理解

摘要：【零、背景简介】 XGBoost 于2016年由陈天奇提出，一种用于可扩展的分布式的大规模机器学习算法，在Kaggle多项比赛中高频获奖。核心思想是基于残差的树Boosting，它在建树计算split点、泰勒2阶展开计算损失、正则处理、特殊值处理（如空值处理）、列采样、系统并行化等方面做足了功夫，阅读全文

posted @ 2020-06-01 00:16 Joshua王子阅读(414) 评论(0) 推荐(0)

[置顶] 可变卷积Deforable ConvNet 迁移训练自己的数据集 MXNet框架 GPU版

摘要：【引言】最近在用可变卷积的rfcn 模型迁移训练自己的数据集， MSRA官方使用的MXNet框架环境搭建及配置：http://www.cnblogs.com/andre-ma/p/8867031.html 一参数修改： 1.1 ~/Deformable-ConvNets/experiments 阅读全文

posted @ 2018-05-10 18:40 Joshua王子阅读(1226) 评论(0) 推荐(0)

[置顶] Ubuntu16 编译源码安装MXNet 可变卷积Deformable-ConvNets GPU版

摘要：【引言】最近接手了公司的关于虫子识别的项目，使用MXNet框架开发，但是实际用的是Deformable-ConvNets. Deformable-ConvNets为微软研究研究院提出的可变卷积网络，可用于对图像中大小不一的物体识别，不是单单识别图中的猫和狗（它们都一般大小），而识别图像中不同种类的虫阅读全文

posted @ 2018-04-23 15:19 Joshua王子阅读(1949) 评论(0) 推荐(0)

[置顶] 深度学习-超参数调整总结

摘要：在深度神经网络中，超参数的调整是一项必备技能，通过观察在训练过程中的监测指标如损失loss和准确率来判断当前模型处于什么样的训练状态，及时调整超参数以更科学地训练模型能够提高资源利用率。在本研究中使用了以下超参数，下面将分别介绍并总结了不同超参数的调整规则。（1）学习率学习率（learning 阅读全文

posted @ 2018-03-30 14:58 Joshua王子阅读(22230) 评论(0) 推荐(2)

2021年9月17日

【docker】 docker安装、初始化配置、启动

摘要： 1、安装docker yum install docker ## CentOS apt install docker.io ## ubuntu 2、启动、配置安装好后启动service docker start报错： Cannot connect to the Docker daemon at u 阅读全文

posted @ 2021-09-17 11:19 Joshua王子阅读(307) 评论(0) 推荐(0)

2021年8月6日

【git】 git配置多个github(gitlab)同时使用

摘要：一、config配置文件为了使得一台电脑（假设Windows)可以同时连接不同的git仓库，只需在用户主目录下的.ssh文件夹下 C:\Users\用户名\.ssh 配置config文件，里面列举不同git仓库对应的配置信息 Host github.com HostName github.com 阅读全文

posted @ 2021-08-06 15:10 Joshua王子阅读(1133) 评论(0) 推荐(0)

2021年4月16日

【Neo4j cypher命令】使用

摘要：零、引言图库Neo4j使用cypher语句为基本操作语言，本文总结一些关键字的使用方法一、关键词总结 1.1 Load csv 读取文件 load csv with headers from 'file:///ces.csv' as line with line, linenumber()-1 阅读全文

posted @ 2021-04-16 12:17 Joshua王子阅读(2227) 评论(0) 推荐(0)

【Neo4j】 Neo4j数据插入的几种方式总结

摘要：图库Neo4j插入数据有多种方法，其效率相差较大，而且部分高效插入方式需停止服务，更适合初始化时导入（当系统运行期间不适合导入）这里主要推崇： apoc插件方式，功能强大且可定义动态label；以及原生的cypher语句插入，只是可用不同的事务来优化执行效率（显示事务可批量提交多条语句） Ref 阅读全文

posted @ 2021-04-16 10:04 Joshua王子阅读(1965) 评论(0) 推荐(0)

2021年4月12日

【Ubuntu】解决无法获得锁 /var/lib/dpkg/lock-frontend - open (11: 资源暂时不可用

摘要：如题 Ubuntu16 解决：无法获得锁 /var/lib/dpkg/lock-frontend - open (11: 资源暂时不可用无法锁定管理目录(/var/lib/dpkg/)，是否有其他进程正占用它原因：在使用apt install 安装程序时，如果在未完成下载的情况下将终端clo 阅读全文

posted @ 2021-04-12 13:48 Joshua王子阅读(754) 评论(0) 推荐(0)

2021年3月3日

Ubuntu16 安装配置Neo4j

摘要： 1、引言 Neo4j是图数据库中单节点最受欢迎的一款产品，虽然不支持分布式，但是Neo4j无论从功能、性能、社区活跃度等都是非常高的。 Neo4j社区版依赖Java，不同版本的Neo4j依赖不同版本的Java，目前最新版4.1.x依赖Java11. 几点建议：如果熟悉使用neo4j，可用较高版阅读全文

posted @ 2021-03-03 14:35 Joshua王子阅读(483) 评论(0) 推荐(0)

2021年3月1日

【python】win10配置pycharm 关于Error processing line 7 of D:\softwares\Anaconda3\lib\site-packages\pywin32.pth 问题的解决

摘要：如题，win10环境配置pycharm 报错： Error processing line 7 of D:\softwares\Anaconda3\lib\site-packages\pywin32.pth 全部异常如下： Error processing line 7 of D:\Python-x 阅读全文

posted @ 2021-03-01 16:07 Joshua王子阅读(2791) 评论(0) 推荐(0)

2021年2月9日

win10环境配置XShell6.0绿色版

摘要： 1、安装依赖库 64位系统需安装 vcredist_x64.exe 和 vcredist_x86.exe 32位系统需安装 vcredist_x86.exe 2、以“管理员身份” 运行 “绿化.bat”脚本 3、上述步骤成功后，可直接运行xshelll6.0.exe 阅读全文

posted @ 2021-02-09 10:17 Joshua王子阅读(878) 评论(0) 推荐(0)

2021年1月22日

【python】 Anaconda3配置好后，启动jupyter服务异常的解决方法

摘要：在服务器Ubuntu16-64bit上安装了Anaconda3，并配置好jupyter参数，启动时却报错： Traceback (most recent call last): File "/root/anaconda3/lib/python3.6/runpy.py", line 193, in 阅读全文

posted @ 2021-01-22 16:31 Joshua王子阅读(1129) 评论(0) 推荐(0)

公告