CentOS7 上安装部署chatglm2-6b

           按照说明文档，先按照了最新版本的Python，官网下载了最新的版本3.11后，一顿操作感觉分分钟就安装完了。 但是继续安装chatglm2-6b 所需的依赖包时，就遇到了N多坑点，为了解决这些坑点，耗时真的很长（按周计算的那种）。如果是CPU服务器，则至少需要30G内存。
           第一个坑点：安装Python时，没有带SSL：

             解决办法：详细可以参考 这个大牛的 操作。

             首先安装依赖包：

      yum install -y zlib zlib-dev openssl-devel sqlite-devel bzip2-devel libffi libffi-devel gcc gcc-c++

　　      安装新版本的openssl（此处务必一定一定要去官网下载1.1版本的，而不是yum 直接安装）

 

      wget http://www.openssl.org/source/openssl-1.1.1.tar.gz            （如果有网就可以直接下载，没网就需要单独下载安装包通过终端工具从windows上传到centos中）

      tar -zxvf openssl-1.1.1.tar.gz                                                （ 解压对应版本安装包）

      cd openssl-1.1.1                                                                （进入对应的解压目录）

      ./config --prefix=/usr/local/openssl shared zlib     (prefix为配置安装目录，shared zlib 安装依赖库）这一步最重要，一定要shared
       
      make && make install  

 

             设置变量：

              echo "export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/openssl/lib" >> /usr/local/.bash_profile 

              source /usr/local/.bash_profile                        （重新加载该路径下的用户环境变量文件）

            安装Python时，一定要加SSL

    ./configure --prefix=/usr/local//python3 --with-openssl=/usr/local//openssl 

            安装完成后，务必要执行：

   python3                      （进入python3命令行）
   import ssl                        （导入ssl模块）
   import _ssl                        （导入_ssl模块）

             第二个坑点：root下不能执行pip install 命令，黄色警告内容就是坑。

           python3 -m venv tutorial-env       创建虚拟环境
           source tutorial-env/bin/activate    激活虚拟环境

           自此，安装命令要改为： python3 -m pip install 命令，否则还是会有问题。安装相关依赖完毕。

           进入下载后的文件目录，尝试运行接口：

    python3 api.py

         默认会从互联网下载相关依赖数据模型，大多情况下会报此错：

           经过排查，是从这个 地址  下载所有文件。从分支上下载完文件后，放到服务器上的指定位置。修改Api.py 的文件：

          纯CPU的话，切记要修改： 

        保存后，再次运行就正常了，提问：

 curl -X POST "http://127.0.0.1:8000" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'

         就可以得到一般的回答了。

     

         网页运行：

    pip3 install streamlit streamlit-chat    // 安装相关依赖
     
    # 在运行前，务必要修改此文件。修改这两行， 路径是自己手动下载文件的位置。float 为CPU模式

      streamlit run web_demo2.py       //  运行， 

            网页运行后的效果：