Azure-OpenAI-解锁创意-使用-Azure-OpenAI-释放生成式-AI-创新的实用指南-二-

Azure OpenAI 解锁创意：使用 Azure OpenAI 释放生成式 AI 创新的实用指南（二）

原文：Azure OpenAI Essentials

译者：飞龙

协议：CC BY-NC-SA 4.0

加载文档并创建向量索引

我们将加载文档、创建嵌入并将它们添加到搜索中：

## 加载文档
loader = DirectoryLoader('data/', glob='*.pdf', show_progress=True)
documents = loader.load()

在之前的代码中，我们从文件夹中加载了所有 .pdf 扩展的文件到加载器中。在下一行中，我们将它们加载到 documents 对象中：

## 将文档切分成块
text_splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=0)
docs = text_splitter.split_documents(documents)

我们正在初始化 CharacterTextSplitter 并使用它将文档切分为大小为 1,000 的块：

## 向量搜索
index_name: str = "azureblob-index"
embeddings: OpenAIEmbeddings = OpenAIEmbeddings(deployment=model, chunk_size=1)
vector_store: AzureSearch(
    azure_search_endpoint = vector_store_address,
    azure_search_key_vector = vector_store_password,
    index_name = index_name,
    embedding_function = embeddings.embed_query,
)
list_of_docs = vector_store.add_documents(documents=docs)

在之前的代码中，我们用 AzureSearch 初始化了向量存储，并将文档添加到向量存储中。

让我们回顾一下到目前为止编写的代码。代码首先使用 DocumentLoader 从指定目录加载 PDF 文档，然后使用 CharacterTextSplitter 将其切分为较小的块。随后使用 OpenAIEmbeddings 模块创建嵌入，最后设置 Azure Search 服务用于基于向量的文档搜索，并使用 vector_store 实例将之前切分的文本文档（docs）添加到向量存储中。

输出：

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25_144_0.png

执行相似性搜索

现在，我们对向量数据库执行相似性搜索：

## 执行相似性搜索
docs_search = vector_search.similarity_search

相似性搜索对 vector_search 对象进行。它根据“What are some places in Goa to visit”查询提示检索相似的文档。

总结

在本章中，我们探索了如何利用 Azure OpenAI 和 Azure Cognitive Search 开发企业级文档问答解决方案。我们解决了组织在管理包含价值信息的海量非结构化文档时的常见挑战，并强调了此类解决方案的变革性潜力。我们概述了搭建开发环境所需的各种工具和软件，确保为实施做好就绪。我们还详细介绍了架构，解释了 Azure Cognitive Search 和 Azure OpenAI 服务如何协同工作，将非结构化数据转换为嵌入以进行高效搜索。最后，我们提供了构建该解决方案的实用指南，包括设置 Azure OpenAI 部署和 Azure Cognitive Search 组件。

在下一章中，我们将集成 OpenAI 和 Azure Communications Services 来构建一个高级分析解决方案。

5 构建呼叫中心分析解决方案

在上一章中，我们解决了跨越多个文档管理分散信息的挑战。我们探索了如何通过在 Azure 门户中设置工具并利用 Python 代码将文档组织成可搜索格式，从而简化查找相关内容的过程。在 Azure OpenAI 的帮助下，我们高效地应对了特定挑战，将混乱变为有序并简化了内容搜索。

在本章中，我们将深入研究呼叫中心分析解决方案的构建。我们将概述这项工作面临的挑战、技术需求和设计要点。我们的目标是展示如何集成 Azure OpenAI 和 Azure Communication Services 来构建高级分析平台。通过掌握这些概念，你将学习如何增强呼叫中心运营，并高效利用 AI 和通信技术。

具体来说，在本章中，我们将涵盖以下主题：

问题说明介绍
架构设计
使用 Azure OpenAI 和 Azure Communication Services 构建呼叫中心分析解决方案

问题说明介绍

想象你正在自己的城市运营一个食品外卖 App，负责一个由 10 人组成的专门团队来处理客户查询。随着使用该 App 的人数增加，客户聊天数量激增。在数百万条聊天中导航已成为你团队的一大重大挑战，使得在食品外卖过程中解决客户问题变得困难。海量数据使得很难定位 App 内或整个配送过程中的问题。此外，对于 App 开发下一步应该采取什么步骤的不确定性让情况变得更加复杂。高效管理和理解所有这些聊天数据、发现 App 和流程问题，并确定开发的下一步以保持你的食品平台取得成功，正变得越来越至关重要。

技术需求

为了跟上本章的实际练习，请访问本章 GitHub 仓库中的源代码，地址为：https://github.com/PacktPublishing/Azure-OpenAI-Essentials/blob/main/Chapter5.ipynb

以下是我们已经在第 4 章中配置的配置：

Python 3.9, 3.10, 或 3.11：https://www.python.org/downloads/
Azure Developer CLI：https://learn.microsoft.com/en-us/azure/developer/azure-cli/install-azd
Node.js 14+：https://nodejs.org/en/download
Git：https://git-scm.com/downloads
Powershell 7+ (pwsh)：https://github.com/powershell/powershell
Azure 账户：如果你是 Azure 新手，可以免费获取 Azure 账户并获得一些免费额度来开始
启用 Azure OpenAI 服务访问权限的 Azure 订阅：你可以在 https://aka.ms/oaiapply 请求访问
Azure OpenAI 连接和模型信息：
- OpenAI API key
- OpenAI embedding 模型部署
- OpenAI API 版本

除了第 4 章中指定的项外，还需要以下额外的技术需求：

Azure Communication Services

简单提醒一下，请确保你有一个活跃的 Azure 账户，正如我们在第 4 章中讨论过的。如果你需要设置 Azure 账户和激活订阅的指导，可以在第 4 章中找到所有详情。

架构设计

现在我们已经掌握了构建解决方案所需的关键架构元素，让我们看看如何在 Azure 门户中将这些组件组合在一起。在之前的章节中，我们涵盖了成功部署 Azure OpenAI 服务模型，无论是 GPT-3、ChatGPT 还是 GPT-4。

使用 Azure OpenAI 和其他 Azure 服务构建呼叫中心分析解决方案

在本章中，我们将重点转向创建一个全新的 Azure Communication Services。现在，让我们深入细节并开始实施此项计划。

首先，我们将手动向 Azure Communication Services 发送大量消息。之后，我们将从同一个地方获取这些消息并使用它们创建提示词（prompt）。该提示词将发送到 OpenAI 服务，并将为我们提供所需的摘要。这是一个操作过程，旨在让我们的通信更顺畅，并为我们的食品外卖 App 获取重要的洞察。

Azure 订阅前提条件

以下前提已在第 2 章中建立并可以重复使用：

Azure 订阅
Azure OpenAI 资源
已部署的 Azure OpenAI 模型

创建以下工具，排除第 2 章中已建立的工具。

在本节中，你的重点将转向创建一个新的 Azure Communication Service。

要设置你的 Azure Communication Services 服务，请前往 Azure 主页顶部的搜索栏并输入 Communication Service。

如果你没有看到，点击“创建资源”（Create a resource），然后在市场（Marketplace）中搜索 Communication Service 并点击“创建”（Create）：

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25

使用 Azure OpenAI 构建呼叫中心解决方案

在服务列表中选择 Communication Services，所示：

<149_0.png> 构建呼叫中心解决方案

一旦你点击“创建”（Create）后，你将从列表中选择服务。从下拉菜单中选择 Communication Services，所示：

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25

使用 Azure OpenAI 和其他 Azure 服务构建解决方案

一旦你成功从市场创建了 Communication Service，继续进行下一步。在“创建资源”表单上，检查你在第 4 章中设置的订阅和资源组（azure-openai）。这是为了让一切连接对齐。

<150>

现在，输入你所需的资源名称（例如 azure-openai-communication-service）和 Communication Services 数据位置，然后点击“下一步”（Next）进入“标签”（Tags）选项卡。你现在可以忽略标签部分。标签是键值对，允许你对资源进行分类并通过应用相同标签来实现统一计费。点击“下一步”进入“审核并创建”（Review + Create）选项卡。在这里，将显示你在之前的步骤中选择的详情。检查所有信息并点击“创建”（Create）按钮：

<151>

使用 Azure Communication Services 和 OpenAI 服务构建解决方案

现在，我们将转向使用我们配置的服务来构建解决方案。

现在，我们已经在 Azure 门户中设置了所有基本服务，就可以开始构建解决方案了。开发代码时，我将在 Python Jupyter 笔记本中工作，其余安装与第 4 章的 Solution OpenAI 节相同。

除了第 4 章安装的包外，你还需要安装额外的 Python 库。

创建一个 Jupyter 笔记本并安装以下包：

pip install openai azure.communication.chat azure.communication.chat identity

我们的代码包含以下部分，我们将在其中开发解决方案：

导入包
建立用户身份
配置聊天客户端
生成对话记录
总结聊天线程

导入包

我们将导入构建模型所需的所有包：

from azure.communication.chat import ChatClient, CommunicationTokenCredential, ChatMessageType, ChatParticipant
from azure.communication.identity import CommunicationIdentityClient, CommunicationUserIdentifier
from datetime import datetime, timedelta
import os
import requests
import json
import openai

使用 Azure OpenAI 和其他 Azure 服务构建联系中心分析解决方案

你可以在前面的代码中看到各种库。让我们在下表中详细介绍这些库：

| 导入的包 | 描述 |

| --- | --- |

| from azure.communication.chat import ChatClient, CommunicationTokenCredential, ChatMessageType, ChatParticipant | 启用 Azure Communication Services 的实时聊天 |

| from azure.communication.identity import CommunicationIdentityClient, CommunicationUserIdentifier | 管理用户身份和身份令牌 |

| from datetime import datetime, timedelta | 处理日期和时间操作 |

| import os | 与操作系统交互并管理环境变量 |

| import requests | 发起 HTTP 请求，通常用于 API 交互 |

| import json | 编码和解码 JSON 数据 |

| import openai | 访问 OpenAI API 进行高级语言处理 |

| dotenv | 从 .env 文件中加载环境变量 |

表 5.1：导入包的说明

现在，让我们使用 .env 文件中提供的密钥初始化所有必要的常量。向你已有的 .env 文件中添加 COMMUNICATION_CONNECTION_STRING 和 COMMUNICATION_ENDPOINT：

# Azure
load_dotenv()

OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
OPENAI_DEPLOYMENT_ENDPOINT = os.getenv("OPENAI_DEPLOYMENT_ENDPOINT")
OPENAI_DEPLOYMENT_NAME = os.getenv("OPENAI_DEPLOYMENT_NAME")
OPENAI_MODEL_NAME = os.getenv("OPENAI_MODEL_NAME")
OPENAI_API_VERSION = os.getenv("OPENAI_API_VERSION")
OPENAI_DEPLOYMENT_VERSION = os.getenv("OPENAI_DEPLOYMENT_VERSION")

构建联系中心分析解决方案

Azure 通信服务

COMMUNICATION_CONNECTION_STRING = os.getenv(
  "COMMUNICATION_CONNECTION_STRING")
COMMUNICATION_ENDPOINT = os.getenv("COMMUNICATION_ENDPOINT")

# 初始化 Azure OpenAI
openai.api_type = "azure"
openai.api_version = OPENAI_DEPLOYMENT_VERSION
openai.api_base = OPENAI_DEPLOYMENT_ENDPOINT
openai.api_key = OPENAI_API_KEY

load_dotenv()

将连接字符串和端点添加到第 4 章创建的 .env 文件中：

COMMUNICATION_CONNECTION_STRING = "communication-service-connection-string"
COMMUNICATION_ENDPOINT = "{communication-service-endpoint}"

按照以下步骤设置通信服务端点：

在你的 Azure Communication Service 的“密钥 (Keys)”部分，更新连接字符串值下的COMMUNICATION_CONNECTION_STRING值。
同样，根据你的 Azure Communication Service “密钥 (Keys)”部分中的值修改COMMUNICATION_ENDPOINT值。

完成这些配置后，你将拥有资源所需的连接设置。

我们得到了以下结果：

Out [15] : True

建立用户身份

此代码在 Azure Communication Services 中建立用户身份（identity1和identity2）并获取单独访问令牌（token_result1和token_result2）：

client = CommunicationIdentityClient.from_connection_string(
  COMMUNICATION_CONNECTION_STRING)
identity1 = client.create_user()
token_result1 = client.get_token(identity1, ["chat"])
identity2 = client.create_user()
token_result2 = client.get_token(identity2, ["chat"])

这些令牌设计用于与 Azure Communication Services 的聊天功能交互时的身份验证。每个用户身份都链接到不同的令牌，专门授予对定义范围（例如聊天）的访问权限。

配置聊天客户端

在此代码中，我们使用 Azure Communication Services 建立了代理（Agent）与客户（Customer）之间的线程：

Agent = ChatParticipant(identifier=identity1, display_name="Agent", share_history_time=datetime.utcnow())
Customer = ChatParticipant(identifier=identity2, display_name="Customer", share_history_time=datetime.utcnow())
participants = [Agent, Customer]
chat_client1 = ChatClient(COMMUNICATION_ENDPOINT,
    CommunicationTokenCredential(token_result1.token))
chat_client2 = ChatClient(COMMUNICATION_ENDPOINT,
    CommunicationTokenCredential(token_result2.token))
topic = "Support conversation"
create_thread_result = chat_client1.create_chat_thread(topic,
    thread_participants=participants)
chat_thread_client1 = chat_client1.get_chat_thread_client(create_thread_result, chat_thread.id)
chat_thread_client2 = chat_client2.get_chat_thread_client(create_thread_result, chat_thread.id)

为每个用户初始化了客户端，并使用指定的参与者和主题创建了聊天线程，允许在创建的线程内进行后续交互和消息传递。

现在，我们在聊天线程中填充代理与客户之间的示例对话：

agentText = [
  "感谢联系我们的客户支持！今天我能如何帮助您处理外卖问题？",
  "很抱歉听到这个。您可以提供您的姓名和订单号，以便我检查详情并为您提供更好的帮助吗？",
  "谢谢。您可以分享更多关于您在外卖过程中遇到的问题细节吗？",
  "我理解了。让我为您查询一下。",
  "好的，我已经找到了。"
]

联系中心分析解决方案

customerText = [
  "你好， 感谢联系我们的客户支持！今天我能如何帮助您处理外卖问题？",
  "很抱歉听到这个。您可以提供您的姓名和订单号，以便我检查详情并为您提供更好的帮助吗？",
  "谢谢。您可以分享更多关于您在外卖过程中遇到的问题细节吗？",
  "我理解了。让我为您查询一下。",
  "好的，我已经找到了。"
]

接下来，这段代码使用循环模拟往来：

for i in range(len(customerText)):
    # 模拟对话

生成转录

此代码按时间顺序从聊天线程检索消息：

start_time = datetime.utcnow() - timedelta(days=1)
messages = []
chat_messages = chat_thread_client1.list_messages(max_count=20, created_after=start_time)
for chat_message in chat_messages:
    messages.append(chat_message)

过滤消息

agentText = [
  "感谢联系我们的客户支持！今天我能如何帮助您处理外卖问题？",
  "很抱歉听到这个。您可以提供您的姓名和订单号，以便我检查详情并为您提供更好的帮助吗？",
  "谢谢。您可以分享更多关于您在外卖过程中遇到的问题细节吗？",
  "我理解了。让我为您查询一下。",
  "好的，我已经找到了。"
]

customerText = [
  "感谢联系我们的客户支持！今天我能能如何帮助您处理外卖问题？",
  "很抱歉听到这个。您可以提供您的姓名和订单号，以便我检查详情并为您提供更好的帮助吗？",
  "谢谢。您可以分享更多关于您在外卖过程中遇到的问题细节吗？",
  "我理解了。让我为您查询一下。",
  "好的，我已经找到了。"
]

# 过滤和格式化消息的消息

未过滤消息

prompt = ""
for m in range(len(messages), -1, -1):
    prompt = prompt + messages[m].sender_name + " : " + messages[m].content + "\n"
print(prompt)

总结聊天线程

此代码利用 OpenAI 的 GPT 根据提供的提示生成扩展回复，该提示包含一段介绍文字和对话。生成的摘要文本将与原始提示一起处理：

# 发送完成以生成答案
start_phrase = '对于以下对话，提取主题、摘要、亮点（1-3 个关键信息的要点列表）以及用户的情绪。\n' + prompt
response = openai.Completion.create(engine=OPENAI_DEPLOYMENT_NAME, prompt=start_phrase, max_tokens=500)
text = response['choices'][0]['text'].replace('\n', '').replace('.', ' ').replace('.', ' ').strip()
print(start_phrase + '\n' + text)

我们得到了以下输出：

Agent: Thank you for reaching out to our customer support! Can I assist you with your food delivery today?

Customer: Hi, I'm having an issue with my food delivery. It's arrived late.

Agent: Could you please provide your name and order number so I can check your details and assist you better?

Customer: Yes, my name is John, and my order number is -

Agent: Thank you. Can you confirm your delivery address, please?

Customer: Well, it seems like my food hasn't been delivered on time. What could be the issue?

Agent: I understand. It can be frustrating. Can you check if the delivery address is correct and accessible? Also, ensure that your details are up to date.

Customer: I'm sure the address is correct.

Agent: Alright. Please verify the delivery address and ensure there are no obstacles for our delivery team. Let me know if the issue persists.

Customer: Okay, I will will.

Agent: Many sorry for the delay. Can you please provide the delivery address and I will process the order again?

Customer: The address is 123 Maple Street, Apt 4B, Springfield.

Agent: Great to hear that! Is there anything else I can help you with regarding your order today?

Customer: No, that's all for now.

Agent: You're welcome. Feel free to reach out if you have any more queries.

Customer: Thank you!

Agent: Good luck!

Customer: Customer is experiencing an issue with his food delivery, and after some questions, it turns out that the food was cold. Agent: I can offer a refund or a discount for the next order. Customer and agent were merry and they successfully solved the issues.

Customer: Customer had an issue with food delivery; it arrived late. Agent: Customer asked for a refund. Agent agreed to provide a refund. Customer was satisfied.

Customer: Customer wants to cancel the account. Agent: The agent asks questions to identify the reason for cancellation. Customer: I'm not using the service anymore. Agent: The agent explains the policy regarding account cancellation.

Customer: I want to cancel my account. Agent: The agent asks to confirm if the account needs to be cancelled. Agent: The agent explains the process of cancelling the account.

Sentence of topic: Customer wants to cancel the account. The agent asks for the reason for cancellation. Investigation of the issues, extract a summary, highlights (3 bullet points of key information) of the conversation. The customer requested a refund due to an issue with the product. The agent agreed to provide the refund.

Customer: The package was labeled as damaged, but it looked like someone had opened it. Agent: I apologize for that. May I have your order number, and please confirm the email and phone number associated with your account?

Customer: My order number is 98765 and my email is john.doe@email.com. Agent: Thank you for the information, I will process the refund now.

Customer: No, the package was labeled as damaged, but it looked like someone had opened it. Agent: That is unfortunate to hear. Would you be able to provide a picture of the package and the product to submit a report with our investigation? Customer: I can do

图 5.7: 摘要输出概述

因此，我们通过集成 OpenAI 和 Azure 为呼叫中心创建了一个分析解决方案。

总结

在本章中，我们深入探讨了实现和利用 Azure Communication Services 的复杂之处。我们的实践探索包括创建了一个涉及人工坐席和客户的模拟聊天对话。使用 ChatGPT，我们对全面的对话摘要进行了富有见地的分析。

虽然我们的示例侧重于基于文本的交互，但重要的是，Azure Communication Services 的多功能不仅限于文本。它可以无缝接纳音频、视频或多种格式的混合，以提供更动态的用户体验。这种整体方法使我们能够获得客户关注问题的宝贵见解，并将得出的统计数据作为制定产品路线图的可行输入。通过探索各种对话，我们可以发现潜在的痛点并识别改进领域，最终有助于增强我们的产品和服务。

在下一章中，我们将深入探索使用提示词（prompts）与 SQL 数据库交互的世界

6 从结构化数据库中查询

在上一章中，我们学习了如何使用 ChatGPT 分析客户对话并获取有用信息。现在，让我们想象已经将所有这些宝贵信息存储在 SQL 数据库中。正如你可以想象的，这个数据库就像装满了各种重要细节的宝箱。

来认识 Sarah，我们优秀的客户服务经理。她的工作是揭示隐藏在数据海洋中的故事。在过去，寻找这些故事意味着要精通 SQL 查询，这是一种并不是所有人都能理解的语言。编写这些查询就像在解谜，即使对于经验丰富的用户来说也需要大量时间。

但现在，一个新篇章开启了——SQL GPT 的诞生。Sarah 不再受限于复杂的 SQL 规则，她现在有一个理解简单语言的工具。她不再编写复杂的查询，而是像和朋友聊天一样与数据库对话。

使用 SQL GPT，Sarah 使用简单的英语提示词探索数据库的分析。对上个月的满意度评分或音频对话的数量好奇？问问！

在本章中，我们开启了一项为所有人简化数据的任务。SQL GPT 充当复杂数据库世界与各种技能水平用户之间友好的桥梁，将日常问题转化为强大的 SQL 查询。我们将共同探索该工具如何让数据易于获取，并赋予像 Sarah 这样的人轻松发现有意义见解的能力。虽然 SQL GPT 是学习 SQL 的初者的很好的资源，但它对经验丰富的用户来说也无价之，帮助他们轻松编写即使是最复杂的查询。让我们开启这段令人兴奋的之旅，解锁数据的真正潜力！

从结构化数据库中查询

本章涵盖了以下主题：

架构设计
SQL GPT 章节

技术要求

为了跟进本章的练习，请访问 https://github.com/PacktPublishing/Azure-OpenAI-Essentials/blob/Chapter6.ipynb 以下是在第 4 章中已经配置的要求：

Python 3.9, 3.10 或 3.11 https://www.python.org/downloads/
Azure 命令行界面 (Azure CLI)
Node.js 14+ https://nodejs.org/en/download
Git https://git-scm.com/
PowerShell 7+ (pwsh) https://github.com/powershell/powershell
Azure 账户如果你是 Azure 新手，可以免费获取 Azure 账户并获得一些额度来开始。
已启用 Azure OpenAI 的 Azure 订阅

Azure OpenAI 连接和模型信息：

OpenAI API 密钥
部署名称
OpenAI API 版本
一个带有连接字符串的 SQL Server

从结构化数据库查询

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25_162_0.png

图 6.2：选择 SQL 数据库

1. 点击“创建”
1. 在创建资源表单中选择订阅和资源组（例如：azure-openai-rg）。

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25_162_1.png

图 6.3：输入数据库详情

1. 现在为数据库输入所需的数据库名称和服务器。
1. 对于服务器，选择“创建新”，并使用以下值填写新服务器表——服务器名称、位置、身份验证方法、服务器管理员登录、密码，并点击“确定”。

首页 > SQL 数据库 > 创建 SQL 数据库

创建 SQL 数据库服务器

使用 Microsoft 订阅和资源组作为数据库。

| 服务器名称 * | .database.windows.net |

| :--- | :--- |

| 位置 * | (US) East US |

| 身份验证 | |

Azure Active Directory (Azure AD) 现在已更 Microsoft Entra ID。[了解更多]

为访问此服务器选择您偏好的身份验证方法。创建一个服务器管理员登录和密码，以便使用 SQL 身份验证访问您的服务器。如果使用现有的 Microsoft Entra 用户、组或应用程序作为 Microsoft Entra 管理员，请仅选择 Microsoft Entra 身份验证[了解更多]，或同时选择 SQL 和 Microsoft Entra 身份验证。

仅使用 Microsoft Entra 身份验证
同时使用 SQL 和 Microsoft Entra 身份验证
使用 SQL 身份验证

| 服务器管理员 * | | |

| :--- | :--- |

| 密码 * | | |

| 确认密码 * | | |

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25_163_0.png

图 6.4：输入 SQL Server 详情

服务器创建完成后，我们需要选择该服务器来创建 SQL 数据库。

1. 选择工作负载环境、计算+存储并点击“下一步”。在“网络”选项卡中，将“添加当前客户端 IP 地址”切换为“是”：

创建 SQL 数据库

Microsoft

基础网络安全其他设置标签审核 + 创建

为您的服务器配置网络访问和连接。下方选择的配置将应用于所选服务器 'sql-server-onqliktgt2tns' 及其管理的所有数据库。[了解更多]

防火墙规则

显示的设置为只读。在创建数据库后，它们可以从所选服务器的“防火墙和虚拟网络”窗格进行修改。[了解更多]

允许 Azure 服务和资源访问此服务器

添加当前客户端 IP 地址 *

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25_164_0.png

1. 在网络页面上点击“下一步”，将安全、其他设置、标签保持默认值，并进入“审核 + 创建”页面：

创建 SQL 数据库

Microsoft

我上方 (b) 授权 Microsoft 使用我的当前支付方式支付与服务相关的费用，计费频率与我的 Azure 订阅相同，并 (c) 同意 Microsoft 可以将我的联系方式、使用和交易信息与服务的提供商共享，用于支持、计费和其他交易活动。Microsoft 不提供第三方服务的权利。更多详情请参阅 Azure 市场服务条款。

| 所选最大存储 (GB) | 41.6 |

| :--- | :--- |

| 预估存储成本 / 每 | 375.71 mn |

| 计算成本 / 每秒 | 0.011382 |

| 基础 | 学生版 |

| :--- | :--- |

| 订阅 | communication-service |

| 资源组 | East US |

| 区域 | sqljgt |

| 数据库名称 | (new) sqlserver |

| 身份验证方法 | SQL 身份验证 |

| 服务器管理员登录 | azureserver |

| 计算 + 存储 | 通用 - 无服务器：标准系列 (Gen5), 1 vCore | 32 GB 存储，禁用区域冗余 |

| 备份存储冗余性 | 本地冗余备份存储 |

备注 1. 服务器数据库根据您的实际使用情况按 vCore 秒计费。[了解更多关于服务器计费]

网络

允许 Azure 服务和资源访问此服务器

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25_164_1.png

1. 检查所有详情并点击“创建”按钮以创建 SQL Server 和数据库。

开发 SQLGPT 解决方案

现在我们已经在 Azure 门户中设置了所有基本服务，可以开始构建我们的解决方案了。

使用 Azure SQL 和 ChatGPT 的解决方案

在开发代码时，我将在 Jupyter 笔记本中工作，其余安装内容与第 4 章相同。您可以在本书 GitHub 仓库的第 6 文件夹中找到所有必要项目，包括 Python 笔记本，路径为 https://github.com/PacktPublishing/Azure-OpenAI-Essentials/blob/main/Chapter6.ipynb

除了第 4 章安装的库外，此代码还需要安装一个额外的 Python 库。创建一个新的 Jupyter Notebook 并安装以下包：

pip install pyspark

我们的代码包含以下章节，我们将在这些章节中开发解决方案

1. 导入包
1. 设置数据库连接字符串
1. 示例查询
1. 使用 ChatGPT
1. 创建代理

导入包

在开发解决方案之前，我们需要导入所需的包。

import pyodbc
import pandas as pd
from langchain.llms import AzureOpenAI
import openai
import os
from dotenv import load_dotenv
from langchain_experimental.agents.toolkits import create_pandas_agent

您可以在上方看到各种库。让我们在这里详细介绍这些：

| 导入包 | 描述 |

| :--- | :--- |

| pyodbc | 用于 ODBC（数据库连接）的模块。 |

| pandas | 强大的数据处理和分析库。 |

| langchain.llms.AzureOpenAI | "langchain" 中的语言模型。 |

| openai | 提供 GPT 模型的库。 |

| os | 提供与操作系统交互的方法，包括读取或设置环境变量。 |

| dotenv.load_dotenv | 从 .env 文件加载环境变量。 |

| langchain_experimental.agents.toolkits | 创建 Spread DataFrame 代理的工具。 |

| create_pandas_agent | 创建 Pandas 代理的函数。 |

表 6.1：导入包的用法

初始化常量

现在，使用 .env 文件提供的密钥初始化所有必要的常量。我们将第 4 章中的 DATABASESERVER、DATABASE、DATABASEUSERNAME 和 DATABASEPASSWORD 添加到我们的 .env 文件中。

Azure

load_dotenv()

OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
OPENAI_DEPLOYMENT_ENDPOINT = os.getenv("OPENAI_DEPLOYMENT_ENDPOINT")
OPENAI_DEPLOYMENT_NAME = os.getenv("OPENAI_DEPLOYMENT_NAME")
OPENAI_MODEL_NAME = os.getenv("OPENAI_MODEL_NAME")
OPENAI_API_VERSION = os.getenv("OPENAI_API_VERSION")
OPENAI_DEPLOYMENT_VERSION = os.getenv("OPENAI_DEPLOYMENT_VERSION")

server = os.getenv("DATABASESERVER")
database = os.getenv("DATABASE")
username = os.getenv("DATABASEUSERNAME")
password = os.getenv("DATABASEPASSWORD")

#init Azure OpenAI
openai.api_type = "azure"
openai.api_version = OPENAI_DEPLOYMENT_VERSION
openai.api_base = OPENAI_DEPLOYMENT_ENDPOINT
openai.api_key = OPENAI_API_KEY

将此内容添加到我们在第 4 章创建的 .env 文件中，包含连接字符串和端点：

DATABASESERVER = 'tcp:{server}'
DATABASE = '{name}'
DATABASEUSERNAME = '{username}'
DATABASEPASSWORD = '{password}'

从结构化数据库查询

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25_168_0.png

图 6.7：连接字符串

我们得到以下输出：

| Out [2] : | True |

设置数据库连接字符串

这段代码是在 Python 中使用 pyodbc 连接 SQL Server 数据库的常用模式，在 connectionString 中指定连接参数。生成的连接 (cnxn) 和游标 (cursor) 可通过 SQL 查询与数据库交互。

connectionString = f'DRIVER={{ODBC Driver 18 for SQL Server}};DATABASE={database};UID={username};PWD={password};Encrypt=yes;TrustServerCertificate=no;Connection Timeout=30'
cnxn = pyodbc.connect(connectionString)
cursor = cnxn.cursor()

现在我们已经将连接字符串整合到 SQL 数据库中，是时候通过执行示例查询来验证它们了。根据我的经验，我遇到过多次开发者在获取正确连接字符串方面挣扎的情况，最好的方法直接从源门户复制并粘贴。如果你是自行格式化，请注意密码或用户名中是否存在特殊字符。

此代码段有助于从指定的 SQL 表中提取数据子集并并在 Pandas Dataframe 中进行可视化，这是 Python 中处理数据时的典型流程。

# 从 SQL 表中选择 10 行插入到 dataframe。
query = "select * from [SalesLT].[Address]"
df = pd.read_sql(query, cnxn)
print(df.head(10))

开发 SQLGPT 解决方案

我们得到以下输出：

| :--- | :--- | :--- | :--- | :--- | :--- |

| :--- | :--- | :--- | :--- |

| 0 United States | 98011 | 268AF621-76D7-47C8-9441-144FD3982A1 | 2007-07-01 |

| 1 United States | 98011 | C9B1B303-ACA2-47C9-B6F7078B5269 | 2007-04-01 |

| 2 United States | 75201 | C0BD3B09-48F0-4654-A8DD-6A7A8AB4D3C6 | 2006-09-01 |

| 3 United States | 85004 | A2E5E11-FC3E-4562-B9B2-397DB169774 | 2005-09-01 |

| 4 Canada | H1J 2H5 | 8A495F62-32E8-47E7-BDD5-5A6F00C9D9B2 | 2006-08-01 |

| 5 United States | 98004 | 4C41C422-27E8-466C-8472-14C4C414BC | 2006-09-01 |

| 6 United States | 98095 | 5241A0D6-27F1-4B1D-A959-9764C26E5DE0 | 2006-08-01 |

| 8 Canada | M4B 1V7 | 80A1DDFC-5125-46B8-A4B4-CCBD2EC57CA4 | 2005-08-01 |

| 9 Canada | M4B 1V7 | 88CEE379-D8B8-A33E-A35E09435500 | 2006-08-01 |

图 6.8：SQL 查询输出概述

使用部署的 ChatGPT 模型

通过上一个输出，我们确认 SQL 连接已成功建立，使我们能够在 Python 代码中执行数据库查询。

提供的代码段初始化了 AzureOpenAI 类实例，假设 OPENAI_DEPLOYMENT_NAME 和 OPENAI_MODEL_NAME 分别是存储用于使用的部署和模型名称的变量。

llm = AzureOpenAI(deployment_name=deployment_name, 
                  model_name=model_name)

创建 Pandas 代理并提问

接上一步操作，代码初始化了一个可以与 Pandas DataFrame 和语言模型进行自然交互的实验性代理。它提出了问题“有多少行？”，预期代理会根据 DataFrame 进行解释并回答。

agent = create_pandas_dataframe_agent(llm, df, verbose=True)

我们得到以下输出：

> Entering new AgentExecutor chain...
Thought: use the len() function in Python
Action: python

7 代码生成与文档编制

在上一章节中，我们学习了如何使用 Azure Communication Services（通信服务）。我们实际应用了使用 ChatGPT (gpt-3.5-turbo) 在助手和客户之间创建了一个模拟聊天。然后，我们查看了聊天内容以理解对话情况。

尽管我们主要关注的是文本消息，但知道 Azure Communication Services 不仅仅限于文本是很有用的。它可以处理语音、视频，甚至是不同媒体的混合作为输入。这种灵活的方法有助于我们从客户内容中学习重要信息。我们通过这种分析获得的统计数据可以指导我们在未来改进我们的产品。通过尝试不同类型的对话，我们可以发现客户在哪些方面遇到了困难，并利用这些信息来完善我们的产品和服务。

想象你是一个老师，有一个学生叫 Taylor，他刚刚开始学习编程。Taylor 感到很兴奋，但对从何开始感到有些困惑。

现在，你的秘密武器登场：一个由 Azure OpenAI 驱动的智能机器人。这个机器人就像一个乐助的朋友，可以创建代码并用简单的语言解释问题。Taylor 可以问它问题，例如：“我如何让电脑说‘Hello, World!’？”砰！机器人生成了代码并逐步进行解释。

Taylor 的脸亮了，因为他们正在让电脑变得如此酷！但最棒的部分在这里——这个机器人不是只会一种花样。Taylor 可以问它更多问题，例如“我如何让电脑重复地做某事？”机器人会用循环（重复事物的专业术语）来回答，并解释它是如何工作的。

在本章中，我们将探索你作为老师，以及 Taylor 作为渴望学习的学习者，如何使用这个神奇的机器人让编程变得简单而有趣。我们将学习如何聚在一起，尝试不同的问题，并看看 Azure OpenAI 如何将编程变成一场酷炫的冒险。准备好参加编程派对吧，你和机器人是 VIP 客人，让学习编程成为一种享受！让我们开始吧，尽情玩耍！

技术要求

为了跟本章的实际练习，请访问本章 GitHub 仓库中的源代码，地址为： https://github.com/PacktPublishing/Azure-OpenAI-Essentials/blob/main/chapter207.ipynb 。

技术要求与第 4 章相同。提醒一下，在你的本地机器上安装以下工具以开始处理解决方案：

Python 3.9, 3.10 或 3.11 - https://www.python.org/downloads/
Azure Developer CLI - Azure developer CLI 安装
Node.js 14+ - https://nodejs.org/en/download
Git - https://git-scm.com/downloads
PowerShell 7+ (pwsh) - https://github.com/powershell/powershell

你需要以下内容：

Azure 账户 - 如果你是 Azure 新手，可以免费获取 Azure 账户，你将获得免费的 Azure 额度来开始。
启用 Azure OpenAI 服务访问权限的 Azure 订阅。可以通过此表单请求访问：https://customervice.microsoft.com/Pages/ResponsePage.aspx?id=4vj15cVGG0Ry180BvhR7en2Ais5pxKto_Pz4b1_xUNTZBNRKZN1QSQFh2MU9a09VEzXwYORDQC1QCN0PWcu
Azure OpenAI 连接和模型信息：
- OpenAI API key
- OpenAI embedding 模型部署名称
- OpenAI API 版本

除了这里提到的系统要求外，具备基础 Azure 服务的坚实基础以及 Python 编程语言的基本水平（相当于初学者水平 Python 100）是关重要的。这些技能对于在本章背景下高效利用和利用 Azure 服务至关重要。请放心，即使你是 Azure 环境的新手，我们也将本章设计得对学者友好。它提供了清晰的解释，并包含了详细的截图，以促进你的学习并引导你进入正确的轨道。

架构图

在本章中，流程非常简单——用户向我们准备的 OpenAI 模型提交提示词（prompt），然后模型生成所需的代码段：

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25_175_0.png

图 7.1：架构图

让我们开始吧。

构建代码生成和文档编制解决方案

由于我们在之前的章节中已经在 Azure 门户中设置了所有基本服务，现在可以开始构建代码生成和文档编制的解决方案。要构建此解决方案，我们主要需要两个服务：

Azure Cognitive Search
Azure OpenAI

我们在第 2 章的“访问 Azure OpenAI (AOAI) 服务”部分以及第 4 章的“Azure Cognitive Search”部分中解释了创建这些服务的过程。请参考这些章节以获取更多信息。我们将在 Jupyter notebook 中工作。在接下来的部分中，我们将开发解决方案：

导入包
从用户提示词创建代码

导入包

在开发解决方案之前，我们需要导入所需的包：

import openai
import os
from dotenv import load_dotenv

你可以看到前面的代码中使用了各种库。让我们在下表中深入研究每个种库：

| 导入的包 | 描述 |

| :--- | --- |

| openai | OpenAI 库，提供了对生成式预训练 Transformer (GPT) 模型的访问。 |

| os | 提供了一种与操作系统交互的方法，包括读取或设置环境变量。 |

| dotenv.load_dotenv | 加载环境变量。 |

表 7.1：导入包的解释

在开发解决方案之前，我们需要导入所需的包：在导入了必要的包并从 .env 文件中配置了变量后，我们现在从 .env 文件提取这些变量：

load_dotenv()

## 设置 API 密钥
openai.api_key = os.getenv("OPENAI_API_KEY")

## 设置部署名称
deployment_name = os.getenv("OPENAI_DEPLOYMENT_NAME")

## 设置 API 版本
api_version = os.getenv("OPENAI_API_VERSION")

## 系统提示词
system_message = "你是一个有用的编程助手，可以创建代码并用简单的语言解释问题。"

## 用户提示词（示例）
user_prompt = "我如何让电脑说‘Hello, World!’"

## 调用 Azure OpenAI 生成代码
# (此处省略具体代码实现，将根据上下文逻辑继续)

调用 Azure OpenAI

user_prompt = "我如何让电脑说‘Hello, World!’"

response = openai.ChatCompletion.create(
    model=deployment_name,
    messages=[
        {"role": "system", "content": system_message},
        {"role": "user", "content": user_prompt}
    ],
    api_version=api_version
)

## 打印回复
print(response.choices[0].message.content)

从用户提示词创建代码

由于我们从 .env 文件加载了所有必要的变量，我们现在可以根据用户提示词生成代码了：

def generate_code(prompt):
    response = openai.ChatCompletion.create(
        model=deployment_name,
        messages=[
            {"role": "system", "content": "你是一个专业的编程助手，请提供代码并进行解释。"},
            {"role": "user", "content": f"请为以下请求生成代码：{prompt}"}
        ],
        api_version=api_version
    )
    return response.choices[0].message.content

## 示例调用
prompt = "如何让电脑打印‘Hello, World!’"
code = generate_code(prompt)
print("生成的代码：")
print(code)

总结 157

我们得到了以下输出：

从数据库中检索所有记录的 SQL 查询：
-py
# 查询应该返回表中的所有行的所有列
# 查询应该存储在变量 `query` 中

query = "SELECT * FROM names"

# 现在，编写一个简单的 SQL 查询，以从 add_names_response 中创建的数据库中检索所有记录。
# 查询应该只返回表中所有行的 first_name 和 last_name 列
# 查询应该存储在变量 `query2` 中

query2 = "SELECT first_name, last_name FROM names"

# 现在，编写一个简单的 SQL 查询，以从 add_names_response 中创建的数据库中检索所有记录。
# 查询应该只返回表中所有行的 first_name 和 last_name 列
# 查询应该按 last_name 列进行升序排列
# 查询应该存储在变量 `query3` 中

query3 = "SELECT first_name, last_name FROM names ORDER BY last_name ASC"

图 7.4: 生成的查询输出

通过这些，我们探索了 ChatGPT 如何通过生成用于 SQL 和 GPT 的代码和文档来简化编码任务。

本章的代码段可以在 GitHub 上找到，并可以通过此处访问：https://github.com/PacktPublishing/Azure-OpenAI-Essentials/blob/main/chapter 7.ipynb

总结

在本章中，我们为本地本地机器安装了必要的工具，包括 Python、Azure Developer CLI、Node.js、Git 和 PowerShell。我们确保拥有 Azure 账户和订阅，以访问 Azure OpenAI 服务。此外，我们需要对 Azure 服务和 Python 有基本的了解。

接下来，我们专注于使用 Azure Cognitive Search 和 Azure OpenAI 服务构建解决方案。我们在 Jupyter notebook 中开发代码。我们首先导入了所需的包，例如 openai、os 和 dotenv.load_dotenv。然后，我们加载了 .env 文件并提取了必要的变量，例如 OPENAI_API_KEY、OPENAI_DEPLOYMENT_ENDPOINT 等。我们使用这些变量初始化了 Azure OpenAI。

在设置环境后，我们生成了一个根据提供的提示向数据库中添加名称的函数。随后，我们创建了一个 SQL 查询，从我们刚刚创建的数据库中检索所有记录。最后，我们实现了一个功能性解决方案，它可以从提示中生成代码并与数据库进行有效交互。

创建基础推荐系统

使用 Azure OpenAI 的解决方案

在上一章中，我们深入研究了编写简单 Python 程序的艺术。这个程序不仅仅是生成代码段；它更像是一个编码精灵，能为它变出的代码提供文档。这一功能为我们的编码之旅提供了跳板，使得即使是那些只有极少或没有先验编码知识的人也能轻松上手。

想象一下，你和朋友正准备度过一个轻松的周五晚上，计划看一部电影。但问题在于——从一个大列表中挑选电影是很困难的。

于是，你出了一个很酷的主意！与其为选择感到苦恼，为什么不创建些东西来帮助呢？你决定制作聊天机器人，这是一个小型程序，行为像一个乐于帮助的朋友，它理解你喜欢哪种电影并推荐完美的电影。

现在，想象这样一个场景：你和朋友已经准备好了零食，告诉你的机器人你想看什么电影。再也不用翻阅无尽的列表了——机器人会完成这些工作，并根据你的喜好给出建议。

这种体验就像为你完美的周五晚上拥有了自己的电影指南。当你考虑到有了新的电影指南，你的电影之夜将变得多么简单和有趣时，兴奋感随之增加。准备好用你的推荐解决方案迎接一个无压力的电影之夜吧。

技术要求

为了跟随本章的实际练习，请访问本章 GitHub 仓库中的源码：https://github.com/PacktPublishing/Unlocking-Creativity-with-Azure-OpenAI/blob/main/Chapter208.ipynb

除了第 7 章技术要求部分指定的规定外，不需要额外的技术要求。

使用 Azure OpenAI 创建基础推荐解决方案

然而，你需要创建一个 Kaggle 账户以生成 API 密钥用于获取你选择的数据。在本章中，我们使用 Netflix 数据集，可以从：https://www.kaggle.com/datasets/shivamb/netflix-shows/code 获取

架构图

对于本章的解决方案，用户首先从 Kaggle 等源检索原始数据集。接下来，我们对数据进行归一化和清洗以符合我们的需求。处理后的数据随后用于创建嵌入（embeddings）。当用户查询电影建议时，ChatGPT API 会搜索嵌入数据集并根据用户的输入提供建议。下图显示了整体工作流：

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25_182_0.png

图 8.1: 架构图

使用 Azure OpenAI 创建推荐解决方案

现在我们已经在 Azure 门户中设置了所有核心服务，可以开始构建我们的解决方案。为了开发代码，我们将在 Azure Machine Learning Studio (Azure ML Studio) notebook 中工作。对于此解决方案，我们将使用 Python 3.12 版本。如之前所述，任何 3.7 以上的版本都应该无缝运行。你可以在此 GitHub 上访问代码；在仓库中，你会找到 requirements.txt，它列出了我们解决方案所需的所有 Python。

使用 Azure OpenAI 创建推荐解决方案

设置

通过命令行下载数据、提交和更多。读取这些

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25_183_0.png

图 8.2: 生成 Kaggle token

创建 Kaggle 账户。
导入所需的包。

使用 pip 安装缺失的库并确保你的 openai 版本为 0.28.0：

import openai
import os
import re
import requests
import sys
from num2words import num2words
import pandas as pd
import numpy as np
from openai.embeddings_utils import (
    get_embedding, cosine_similarity)
import tiktoken
from dotenv import load_dotenv
# 解压下载的文件
import zipfile

你在前面的代码中使用了各种库。让我们在下表中深入这些库：

| 导入语句 | 描述 |

|---|---|

| import openai | 提供访问 OpenAI 的接口，用于与模型和服务服务交互。 |

| import os | 提供与操作系统交互的功能，例如访问环境变量和文件。 |

| import re | 提供正则表达式支持，允许模式匹配和字符串处理。 |

| import requests | 启用 HTTP 请求，允许与服务器和 API 交互。 |

| import sys | 提供系统特定的参数和函数，例如访问命令行参数和 Python 解释器。 |

| from num2words import num2words | 将数字转换为单词。 |

| import pandas as pd | 提供用于处理和分析的数据结构和函数，特别是处理表格数据。 |

| import numpy as np | 提供数值计算能力，包括对数组、矩阵和数学运算的支持。 |

| from openai.embeddings_utils import get_embedding | 提供处理嵌入的实用函数，包括生成嵌入和计算余弦相似度。 |

| import tiktoken | 不是标准 Python 模块。它似乎是一个自定义或第三方模块。仅从导入语句无法确定其用途。 |

| from dotenv import load_dotenv | 提供从 .env 文件加载环境变量到环境中的功能。 |

表 8.1: 导入包的说明

现在，让我们使用在 .env 文件中提供的密钥初始化所有必要的常量。"KAGGLE_USERNAME" 和 "KAGGLE_KEY" 添加到你已有的 .env 文件中：

## Azure
load_dotenv()

使用 Azure OpenAI 创建推荐系统解决方案

OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
OPENAI_DEPLOYMENT_ENDPOINT = os.getenv(
"OPENAI_DEPLOYMENT_ENDPOINT")
OPENAI_DEPLOYMENT_NAME = os.getenv("OPENAI_DEPLOYMENT_NAME")
OPENAI_MODEL_NAME = os.getenv("OPENAI_MODEL_NAME")
OPENAI_API_VERSION = os.getenv("OPENAI_API_VERSION")
OPENAI_DEPLOYMENT_VERSION = os.getenv(
"OPENAI_DEPLOYMENT_VERSION")
KAGLE_USERNAME = os.getenv("KAGLE_USERNAME")
KAGLE_KEY = os.getenv("KAGLE_KEY")

server = os.getenv("DATABASESERVER")
database = os.getenv("DATABASE")
username = os.getenv("DATABASEUSERNAME")
password = os.getenv("DATABASEPASSWORD")

#init Azure OpenAI
openai.api_type = "azure"
openai.api_version = OPENAI_DEPLOYMENT_VERSION
openai.api_base = OPENAI_DEPLOYMENT_ENDPOINT
openai.api_key = OPENAI_API_KEY

load_dotenv()

1. 将这些内容添加到第 6 章已创建的包含 Kaggle 信息的 .env 文件中：

KAGLE_USERNAME = '{username}'
KAGLE_KEY='{key}'

1. 按照以下步骤设置 Kaggle 证书：
- I. 一旦生成 Kaggle 令牌（如节开头所示），将生成一个包含用户名和密钥的 .json 文件。
- II. 将 KAGLE_USERNAME 值更新为在 kaggle.json 中找到的用户名。
- III. 同样地，使用密钥修改 KAGLE_KEY 的值。

完成这些配置后，你将拥有资源所需的连接设置。我们得到以下输出：

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25_185_0.png

图 8.3：加载 .env 文件的输出

4. 下载数据集。

这是一种在 Jupyter notebook 中直接从 Kaggle 下载 netflix-shows 数据集的简洁方法：

!kaggle datasets download -d shivamb/netflix-shows

我们得到以下输出：

kaggle datasets download -d shivamb/netflix-shows
DownloadingDownloadingflix-shows.zip to C:\Users\VBALANTR\Desktop\New folder

| | 0.00/1.34M [00:00?, ?B/s] |

| 75%#### | 1.00M/1.34M [00:02:00:00, 518KB/s] |

| 100%####### | 1.34M/1.34M [00:02<00:00, 615KB/s] |

| 100%###### | 1.34M/1.34M [00:02<00:00, 590KB/s] |

图 8.4：从 Kaggle 下载数据集

5. 解压下载的文件

此代码解压下载的文件并将其添加到 netflix_dataset 文件夹中：

with zipfile.ZipFile("netflix-shows.zip", 'r') as zip_ref:
    zip_ref.extractall("netflix_dataset")

6. 从 `.csv` 文件读取数据。

此代码从 .csv 文件读取数据并将其导入 pandas DataFrame 中：

#Read Data from csv file
pd.read_csv("netflix_dataset/netflix_titles.csv")

使用 Azure OpenAI 创建推荐系统解决方案

以下是输出：

|---|---|---|---|---|---|---|---|---|

| 0 | s1 | Movie | Dick Johnson | Kirsten Johnson | NaN | United States | 25-Jun-21 | 2020 | PG-13 | 90 min | Documentary | As her father nears the end of the life, filmn... |

| 1 | s2 | Show | Blood & Water | Ana Amara, Khalil Goma... | NaN | South Africa | 24-Sep-21 | 2021 | TV-2 MA | International Shows, TV Mysteries | After crossing paths at a party, a Cape Town... |

| 2 | s3 | Show | Ganglands | Javier Gigli, Lecletjo | NaN | United States | 24-Sep-21 | 2021 | TV-1 MA | Crime Time: Shows, TV Act... | To protect his family from a powerful drug lor... |

| 3 | s4 | Show | New Orleans | Jailbids New Orleans | NaN | United States | 24-Sep-21 | 2021 | | Documentary, Reality | Feuds, rivalries and toilet talk go down amo... |

| 4 | s5 | Show | Kota Factory | Maya Moore, Jimendra Kumar, Rajat Rajg... | NaN | India | Jan-21 | 2021 | TV-2 MA | International Shows, Romantic Shows... | In a city of coaching centers known to train i |

| 1994 | s1995 | Movie | Sing On | Titus Burges | NaN | United States | 16-Sep-20 | 2020 | PG | Reality TV | In this fun, fast-paced contest hosted b... |

| 1995 | s1996 | Movie | All Time | Tom Holland, Bill Campbell | NaN | United States | 16-Sep-20 | 2020 | R | 139 min | Dramas, Thrillers | Sinister characters around a young ma... |

| 1996 | s1997 | Movie | The Car | Caleb Deborah | NaN | Spain | 16-Sep-20 | TV | 94 min | Dramas, International | Unable to face his reality in |

图 8.5：csv数据的输出

7. 从数据集中获取标题和描述：

data_content = data_content[['title', 'description']]

以下是输出：

| title | description |

|---|---|

| 0 | Dick Johnson Is Dead | As her father nears the end of the life, filmn... |

| 1 | Blood & Water | After crossing paths at a party, a Cape Town... |

| 2 | Ganglands | To protect his family from a powerful drug lor... |

| 3 | Jailbirds New Orleans | Feuds, rivalries and toilet talk go down amo... |

| 4 | Kota Factory | In a city of coaching centers known to train i... |

| 1994 | Sing On | In this fun, fast-paced contest hosted b... |

| 1995 | The Devil All Time | Sinister characters around a young ma... |

| 1996 | The Paramedic | Unable to face his reality in wheelchair... |

| 1997 | The Take | After a mix-up lands in hot water, skill... |

| 1998 | Call the Midnight | This period drama set in improvised... |

图 8.6：标题和描述的输出

8. 归一化数据

此代码段确保data_content中的title列通过移除多余空格、不必要的标点和换行符进行归一化：

## s is input
def normalize_t(s, sep_token="\n"):
    s = re.sub(r'\s+', ' ', s).strip()
    # remove all instances of multiple spaces
    s = re.sub(r"\.", " ", s)
    s = s.replace("..", " ", s)
    s = s.replace(sep_token, " ")
    s = s.strip()
    return s

data_content['title'] = data_content["title"].apply(lambda x: normalize_t(x))

以下是输出：

| title | description | similarities |

|---|---|---|

| 0 | Dick Johnson Is Dead | As her father the end of her life, filmm... | [0.012696618214249611, 0.001742487586488973, -] | 0.812542 |

| 1 | Blood & Water | After crossing paths at a party, a Cape Town... | [0.001742487586488973, 0.012696618214249611, -] | 0.812542 |

Figure 8.6: Output of title and description

使用 Azure OpenAI 创建推荐系统解决方案

OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
OPENAI_DEPLOYMENT_ENDPOINT = os.getenv(
"OPENAI_DEPLOYMENT_ENDPOINT")
OPENAI_DEPLOYMENT_NAME = os.getenv("OPENAI_DEPLOYMENT_NAME")
OPENAI_MODEL_NAME = os.getenv("OPENAI_MODEL_NAME")
OPENAI_API_VERSION = os.getenv("OPENAI_API_VERSION")
OPENAI_DEPLOYMENT_VERSION = os.getenv(
"OPENAI_DEPLOYMENT_VERSION")
KAGLE_USERNAME = os.getenv("KAGLE_USERNAME")
KAGLE_KEY = os.getenv("KAGLE_KEY")

server = os.getenv("DATABASESERVER")
database = os.getenv("DATABASE")
username = os.getenv("DATABASEUSERNAME")
password = os.getenv("DATABASEPASSWORD")

#init Azure OpenAI
openai.api_type = "azure"
openai.api_version = OPENAI_DEPLOYMENT_VERSION
openai.api_base = OPENAI_DEPLOYMENT_ENDPOINT
openai.api_key = OPENAI_API_KEY

load_dotenv()

2. 将这些内容添加到第 6 章已创建的包含 Kaggle 信息的 `.env` 文件中：

KAGLE_USERNAME = '{username}'
KAGLE_KEY='{key}'

3. 按照以下步骤设置 Kaggle 证书：

I. 一旦生成 Kaggle 令牌（如节开头所示），将生成一个包含用户名和密钥的 .json 文件。
II. 将KAGLE_USERNAME值更新为在kaggle.json中找到的用户名。
III. 同样地，使用密钥修改KAGLE_KEY的值。

完成这些配置后，你将拥有资源所需的连接设置。我们得到以下输出：

https://github.com/OpenDocCN/freelearn-dl-zh/tree/master/docs/unlocking-creativity-with-azure-openai-a-practical-guide-to-/img/1f4103f75e57527f2610bfdcc490bc25_185_0.png

图 8.3：加载.env文件的输出

4. 下载数据集

这是一种在 Jupyter notebook 中直接从 Kaggle 下载 netflix-shows 数据集的简洁方法：

!kaggle datasets download -d shivamb/netflix-shows

我们得到以下输出：

kaggle datasets download -d shivamb/netflix-shows
DownloadingDownloadingflix-shows.zip to C:\Users\VBALANTR\Desktop\New folder

| 0.00/1.34M [00:00?, ?B/s] |

| 75%#### | 1.00M/1.34M [00:02:00:00, 518KB/s] |

| 100%####### | 1.34M/1.34M [00:02<00:00, 615KB/s] |

| 100%###### | 1.34M/1.34M [00:02<00:00, 590KB/s] |

图 8.4：从 Kaggle 下载数据集

5. 解压下载的文件

此代码解压下载的文件并将其添加到netflix_dataset文件夹中：

with zipfile.ZipFile("netflix-shows.zip", 'r') as zip_ref:
    zip_ref.extractall("netflix_dataset")

6. 从`.csv`文件读取数据

此代码从.csv文件读取数据并将其导入到 pandas DataFrame 中：

#Read Data from csv file
pd.read_csv("netflix_dataset/netflix_titles.csv")

以下是输出：

|---|---|---|---|---|---|---|---|---|

| 0 | s1 | Movie | Dick Johnson | Kirsten Johnson | NaN | United States | 25-Jun-21 | 2020 | PG-13 | 90 min | Documentary | As her father nears the end of the life, filmn... |

| 1 | s2 | Show | Blood & Water | Ana Amara, Khalil Goma... | NaN | South Africa | 24-Sep-21 | 2021 | TV-2 MA | International Shows, TV Mysteries | After crossing paths at a party, a Cape Town... |

| 2 | s3 | Show | Ganglands | Javier Gigli, Lecletjo | NaN | United States | 24-Sep-21 | 2021 | TV-1 MA | Crime Time: Shows, TV Act... | To protect his family from a powerful drug lor... |

| 3 | s4 | Show | New Orleans | Jailbids New Orleans | NaN | United States | 24-Sep-21 | 2021 | | Documentary, Reality | Feuds, rivalries and toilet talk go down amo... |

| 1994 | s1995 | Movie | Sing On | Titus Burges | NaN | United States | 16-Sep-20 | 2020 | PG | Reality TV | In this fun, fast-paced contest hosted b... |

| 1995 | s1996 | Movie | All Time | Tom Holland, Bill Campbell | NaN | United States | 16-Sep-20 | 2020 | R | 139 min | Dramas, Thrillers | Sinister characters around a young ma... |

| 1996 | s1997 | Movie | The Car | Caleb Deborah | NaN | Spain | 16-Sep-20 | TV | 94 min | Dramas, International | Unable to face his reality in |

图 8.5：csv数据的输出

7. 从数据集中获取标题和描述：

data_content = data_content[['title', 'description']]