SciTech-BigDataAIML-Llama 安装和开发环境设置

SciTech-BigDataAIML-Llama 安装和开发环境设置

https://www.w3ccoo.com/llama/llama-environment-setup.html

pip3 install scipy numpy scikit-learn matplotlib
$ pip3 install    pytorch torchvision  fastai    langchain   huggingface-hub transformers

Llama 安装和开发环境设置

为 Llama 设置环境只有几个关键步骤，包括:

• 安装依赖项、
• Python 及其库以及配置 IDE 以实现更高效的开发。

现在，您已拥有自己的工作环境，可以舒适地使用 Llama 进行开发。
如果您对开发 NLP 模型或尝试文本生成感兴趣，这将确保您的 AI 之旅顺利开始。

让我们继续安装依赖项和 IDE 配置，以便我们可以运行我们的代码及其正确的配置。

依赖项的安装

作为开始编写代码的先决条件，您必须检查是否已安装所有先决条件。
Llama 依赖许多库和软件包，以使自然语言处理以及基于 AI 的任务顺利运行。

1. 步骤 1:安装 Python
   首先，您应该确保您的机器上存在 Python。Llama 至少需要 3.8 或更高版本的 Python 才能成功安装。如果尚未安装，您可以从 Python 官方网站获取它。

2. 步骤 2:安装 PIP
   您必须安装 PIP，即 Python 的软件包安装程序。以下是检查 PIP 是否已安装的方法 −
   pip --version
   如果不是这种情况，可以使用命令进行安装
   python -m ensurepip –upgrade

3. 步骤 3:安装虚拟环境
   使用数字环境将项目的依赖项分开至关重要。

   • 安装
     pip install virtualenv
   • 为您的 Llama 项目创建虚拟环境
     virtualenv Llama_env
   • 激活虚拟环境 −
     • Windows
       Llama_env\Scripts\activate
     • Mac/Linux
       source Llama_env/bin/activate

4. 步骤 4:安装库
   Llama 需要几个 Python 库才能运行。要安装它们，请在终端中输入以下命令。
   pip install torch transformers datasets
   这些库是:

   • torch − 深度学习相关任务。
   • transformers − 预训练模型。
   • datasets − 处理大型数据集。

   尝试在 Python 中导入以下库以检查安装。
   import torch, transformers, datasets
   如果没有错误消息，则安装完成。

设置 Python 和库

设置依赖项，然后安装 Python 和构建 Llama 的库。

1. 步骤 1:验证 Python 的安装
   打开 Python 解释器并执行以下代码以验证 Python 和必需的库是否都已安装

   import torch
   import transformers
   
   print(f"PyTorch 版本:{torch.__version__}")
   print(f"Transformers 版本:{transformers.__version__}")
   

   正常应当输出类似:

   PyTorch 版本:1.12.1
   Transformers 版本:4.30.0
   

2. 步骤 2:安装其他库(可选)
   根据您使用 Llama 的情况，您可能需要一些其他库。
   以下是可选库的列表，但对您非常有用

   • scikit-learn − 用于机器学习模型。
   • numpy −用于科学计算。
   • matplotlib − 用于可视化。

   使用以下命令安装它们
   pip install scikit-learn matplotlib numpy

3. 步骤 3:使用小型模型测试 Llama
   我们将加载一个小型的、预先训练过的模型来检查一切是否运行顺利。

   from transformers import pipeline
   
   # 加载 Llama 模型
   generator = pipeline('text-generation', model='EleutherAI/gpt-neo-125M')
   
   # 生成文本
   output = generator("Llama 是一个大型语言模型", max_length=50, num_return_sequences=1)
   print(output)
   

   正常应当输出:

   [{'generated_text': 'Llama is a large language model, and it is a language 
   model that is used to describe the language of the world. The language model
   is a language model that is used to describe the language of the world. 
   The language model is a language'}]
   

   这表明配置正确，我们现在可以将 Llama 嵌入到我们的应用程序。

配置您的 IDE

选择正确的 IDE 并正确配置它将使开发非常顺利。

1. 步骤 1:选择 IDE
   以下是一些与 Python 一起使用的最受欢迎的 IDE 选择
   Visual Studio Code VS Code PyCharm
   对于本教程，我们选择 VS Code，因为它很轻量并且具有大量 Python 独有的扩展。

2. 步骤 2:为 VS Code 安装 Python 扩展
   要开始在 VS Code 中进行 Python 开发，您需要 Python 扩展。它可以通过 VS Code 的扩展直接安装。

   • 打开 VS Code
     您可以导航到扩展视图，单击扩展图标，或使用 Ctrl + Shift + X。
   • 搜索 "Python" 并安装 Microsoft 的官方扩展。

3. 步骤 3:配置 Python 解释器
   我们设置 Python 解释器以利用我们之前创建的这个虚拟环境，方法是执行此操作
   Ctrl+Shift+P − 打开命令面板
   Python − 选择解释器 并选择 虚拟环境可用的解释器;我们选择位于 Llama_env 的那个

4. 步骤 4:创建 Python 文件
   现在您已经选择了解释器，就可以创建一个新的 Python 文件,
   并将其保存为您想要的任何名称(例如，Llamam_test.py)。
   以下是如何使用 Llama 加载和运行文本生成模型

   from transformers import pipeline
   generator = pipeline('text-generation', model='EleutherAI/gpt-neo-125M')
   # 文本生成
   output = generator("Llama is a large language model", max_length=50, num_return_sequences=1)
   print(output)
   

   通过输出，您将看到 Python 环境的配置方式、代码在集成开发环境的编写方式以及输出在终端的显示方式。
   输出

   [{'generated_text': 'Llama is a large language model, and it is a language
   model that is used to describe the language of the world. The language 
   model is a language model that is used to describe the language of 
   the world. The language model is a language'}]
   

5. 第 5 步:运行代码
   如何运行代码?
   右键单击 Python 文件并在终端中运行 Python 文件。
   默认情况下，它将自动在集成终端显示输出。

6. 第 6 步:在 VS Code 中调试
   除了对调试的强大支持外，VS Code 还为您提供了出色的调试支持。您可以通过单击代码行号左侧来创建断点，
   然后用 F5 开始调试。这将帮助您逐步执行代码并检查变量。