云耀服务器 python 配置 sentencepiece 完整过程

特别注意

1、python 版本对应
2、如果使用conda进行环境管理，一定要注意你当前pip实在那个环境下面！！！！！

第一步 基础环境

python3.6

Archiconda3

华为云官方教程：https://www.huaweicloud.com/kunpeng/software/anaconda.html

建议使用bash进行执行！！！

第二步 sentencepiece C++编译搭建

为啥！！！

主要是为了后面python配置提供基础环境。

具体操作

步骤一 安装环境依赖

ubuntu系统：
sudo apt-get install cmake build-essential pkg-config libgoogle-perftools-dev
centos系统：
sudo yum install cmake pkg-config gperfools-devel

步骤二 源文件编译

注意：检查 cmake版本 和 gcc g++安装！！！！
CentOS7系统升级cmake

git clone https://github.com/google/sentencepiece
cd /path/to/sentencepiece
mkdir build
cd build
cmake ..
make -j $(nproc)
make install
ldconfig -v

如果报错，记得检查是否是管理员运行！！！！

第三步 Python下sentencepiece安装

需要先去指定 PKG_CONFIG_PATH 路径

观察 make install 时sentencepiece.pc的路径！！！
见下图，第二个款就是你需要设置的路径
比如说我这儿就是：

export PKG_CONFIG_PATH= /usr/local/lib/pkgconfig/'
echo $PKG_CONFIG_PATH

设置完了可以打印出来看看。

进入到sentencepiece/python

依次执行下面两条命令

python setup.py build
python setup.py install

pip list 查看是否存在

接下来攻克torch

云耀服务器 torch安装 完整过程

自此结束