摘要： 最近看深度学习二阶优化方面的工作，顺便做一些整理。以下内容翻译自 "Xiaoxin et al., He Large-Scale Deep Learning Optimizations: A Comprehensive Survey, 2021"(https://arxiv.org/abs/2111 阅读全文

摘要： 1. 生成本地的ssh的公钥，并将公钥复制到跳板机和目标服务器上 ssh-keygen -t rsa -b 4096 生成的公钥在C:\Users\XXX\.ssh目录下id_rsa.pub，将其中内容复制到跳板机和目标服务器~/.ssh/authorized_keys中 2. 配置VScode 1 阅读全文

摘要： tensor2tensor是一个很好的深度学习框架，常被用来做机器翻译等任务 由于该工具仅支持TensorFlow1.X的版本，不支持超过cuda10.0以上的版本。最好使用docker来得到该环境 第一步，获取tensor2tensor的docker镜像 https://hub.docker.co 阅读全文

摘要： 激活虚拟环境如ptuning， conda activate ptuning 导出conda虚拟环境到yml文件中 conda env export > environment_ptuning.yml 通过yml安装新环境 conda env create -f environment_ptunin 阅读全文

摘要： 安装python的环境时，使用pip安装某些包（如TensorFlow、tensor2tensor等），可能会弹出如下错误提示： ERROR: Could not install packages due to an OSError: [Errno 2] No such file or direct 阅读全文

摘要： 查看linux中存在的cuda版本，进入/usr/local： 添加自己需要的cuda版本到环境变量, vim ~/.bashrc，添加以下内容到最后，如： export PATH=/usr/local/cuda-10.1/bin:$PATH export LD_LIBRARY_PATH=/usr/ 阅读全文

摘要： 问题背景：tensor2tensor是Google开发的一个工具包，常被用来做机器翻译的框架，在安装的时候，如果直接pip install tensor2tensor安装将导致会安装2.0版本以上的tensorflow， 而实际上tensor2tensor只支持2.0以下的版本tensorflow。 阅读全文

摘要： （1）数据转换 由于之前一直用YoloV5做物体检测，为了使用使用yolo格式的数据，首先需要把其转化成需要的格式，这里我们转化成coco格式： 参考：https://github.com/Taeyoung96/Yolo-to-COCO-format-converter 准备需要转的Yolov5数据 阅读全文

摘要： 在文本分类和文本相似度匹配中，经常用预训练语言模型BERT来得到句子的表示向量，下面给出了pytorch环境下的操作的方法： 这里使用huggingface的transformers中BERT， 需要先安装该依赖包（pip install transformers） 具体实现如下：import to 阅读全文

摘要： tmux是一个 terminal multiplexer(终端复用器),它可以启动一系列终端会话。可以用其查看代码运行状态，可以在关闭terminal下仍然运行程序。与nohup相比，更加灵活。 下面是常见的基本操作： 1.退出(detach)当前tmux ctrl+b d 同时按住ctrl和b，松 阅读全文