python环境搭建与管理(conda+pip)

1. 镜像配置

• 命令添加

## 修改国内镜像源，常用
# conda config --add channels http://mirrors.aliyun.com/pypi/simple 已无效
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://repo.anaconda.com/pkgs/main
conda config --add channels https://repo.anaconda.com/pkgs/r


## 显示镜像源
conda config --set show_channel_urls yes
conda config --show channels

## 清除channel
conda config --remove channels CHANNEL_NAME

# 清空旧频道，防止冲突
conda config --remove-key channels  

• 文件添加

mkdir -p ~/.pip  
vim ~/.pip/pip.conf 

[global]  
index-url = https://repo.seres.cn/nexus/repository/pypi/simple/  

[install]  
trusted-host = repo.seres.cn 

2. 虚拟环境管理

conda env list
conda info --env
conda create -n （虚拟环境名） python=（python的版本）
conda activate base
conda deactivate
conda create -n （新虚拟环境名） --clone （旧虚拟环境名）
conda remove –n （虚拟环境名） ––all   ## 或者直接到~/anaconda3/env目录下删除对应环境文件
----------------
conda list
conda install （包名）
conda install （包名）=（版本）
conda remove （包名）
conda update （包名）
conda search （包名）

3. 依赖库安装

## 创建环境
conda create -n data_mining python=3.10
conda activate data_mining

## 搜索镜像
conda search transformers

## 指定镜像源搜索
conda search -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ transformers==4.18.0

## 版本参考：https://blog.csdn.net/qq_41813454/article/details/136575451
## 安装transformers，成功版本
conda install -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ transformers==4.18.0

## 安装pytorch，成功版本,torchvision（视觉），torchaudio（听觉）
conda install pytorch torchvision torchaudio cpuonly -c pytorch

## 查看安装情况
conda list transformers
conda list torch

## 其他conda命令
## 清除缓存
cobda clean -all
## torch安装
conda install pytorch=1.4.0
conda install pytorch==1.9.1 torchvision==0.10.1 torchaudio==0.9.1 cudatoolkit=10.2 -c pytorch

4. 预模型下载

下面的代码，初始化分类器时需要加载预模型(基模型)，需要到https://gitee.com/hf-models进行下载

# 实例化 BertTokenizer
tokenizer = BertTokenizer.from_pretrained('D:/wk/bert-base-uncased')
model = BertModel.from_pretrained('D:/wk/bert-base-uncased')

5. pip常用命令

## 查看已安装
pip list

## 查看指定包的详细信息，包含版本号
pip show [-f] <包名>

## 搜索
pip install pip-search；pip_search pkgname
or
pip search pkgname

## pip制定源安装
pip install some-package --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 required.txt文件里列出的安装包
pip install -r required.txt    

# 卸载
pip uninstall <包名>

6. linux环境的coda迁移到windows

参考：https://blog.csdn.net/qq_49370210/article/details/135923436

先在linux环境下：

conda activate your_env_name
conda env export --no-builds > environment.yml

再在windows环境下：

conda env create -f environment.yml

如果报错：缺失依赖包，怎在environment.yml文件中逐个删除！！再conda env create -f environment.yml

模型环境复制： conda create --name myenv_copy --clone myenv