Azure AI 服务之文本翻译

当下人工智能可谓是风头正劲，几乎所有的大厂都有相关的技术栈。微软在 AI 领域自然也是投入了重注，并且以 Azure 认知服务的方式投入了市场：

也就是说作为开发者我们不需要学习太多 AI 的理论知识，直接使用 Azure 提供的认知服务 API 就可以在程序中实现 AI 的功能了！

本文作为介绍 Azure AI 服务系列的第一篇，将通过 demo 介绍 Azure 认识服务中 Language 分类中的文本翻译服务(Translator Text API )。

Microsoft 文本翻译 API 是一种基于云的机器翻译服务, 支持多种语言。使用者可用于构建应用程序、网站、工具或任何需要多语言支持的解决方案。该服务是通过 REST API 提供的，所以我们可以以任何语言来调用它们。本文笔者使用 C# 通过构建一个 WPF 程序来演示如何通过简单的几步就能创建一个像模像样的翻译程序：

本文的完整 demo 请从这里下载。

创建 Azure 服务

要使用 Azure 的翻译服务需要先在 Azure 上创建对应的实例，比如我们需要先创建一个 "Translator Text API" 服务实例：

在本文的 demo 程序中我们还会用到拼写检查的服务，所以还需要创建一个 "Bing Spell Check v7 API" 服务的实例：

说明：对于学习和练习来说，你可以创建免费的 Azure 账号并创建免费版的上述实例，详细信息请参考 Azure 官网。

创建 WPF 应用程序

先在 VS 中创建 WPF 程序并简单的布局。

既然是 REST API，那么我们肯定是以 url 的方式访问服务，下面分别是访问文本翻译服务和拼写检查服务的 url：

const string TEXT_TRANSLATION_API_ENDPOINT = "https://api.microsofttranslator.com/v2/Http.svc/";
const string BING_SPELL_CHECK_API_ENDPOINT = "https://api.cognitive.microsoft.com/bing/v7.0/spellcheck/";

在访问相应的服务时，我们用这两个常量再拼接上合适的参数就可以了。

需要注意的是，Azure 提供的认知服务 API 都是需要认证信息的。具体的方式就是把我们创建的服务的 key 随 API 发送的服务器端进行认证，比如把 key 添加到 http 请求的 header 中：

WebRequest.Headers.Add("Ocp-Apim-Subscription-Key", "your key");

你可以在创建的服务实例的详情界面获得对应的 key，我们在程序中通过定义的常量来保存它们：

const string TEXT_TRANSLATION_API_SUBSCRIPTION_KEY = "your translator key";
const string BING_SPELL_CHECK_API_SUBSCRIPTION_KEY = "your spell check key";

由于 demo 的代码比较长，为了能集中精力介绍 Azure AI 相关的内容，本文中只贴出相关的代码。完整的 demo 代码在这里。

获取支持的语言列表

在进行任何的文本翻译之前，我们需要搞清楚 Azure 提供的翻译服务究竟支持哪些语言！下面的请求能够返回翻译服务支持的语言列表：

string uri = TEXT_TRANSLATION_API_ENDPOINT + "GetLanguagesForTranslate?scope=text";

我们把代码封装到下面的函数中：

private string[] languageCodes;
private void GetLanguagesForTranslate()
{
    // 获得翻译服务支持的语言
    string uri = TEXT_TRANSLATION_API_ENDPOINT + "GetLanguagesForTranslate?scope=text";
    WebRequest WebRequest = WebRequest.Create(uri);
    // 在 http 请求中添加认证信息
    WebRequest.Headers.Add("Ocp-Apim-Subscription-Key", TEXT_TRANSLATION_API_SUBSCRIPTION_KEY);
    WebResponse response = null;

    // 把返回的 xml 信息抽取到数组中
    response = WebRequest.GetResponse();
    using (Stream stream = response.GetResponseStream())
    {
        DataContractSerializer dcs = new DataContractSerializer(typeof(List<string>));
        List<string> languagesForTranslate = (List<string>)dcs.ReadObject(stream);
        languageCodes = languagesForTranslate.ToArray();
    }
}

执行这个函数后，languageCodes 中的内容如下图所示：

虽然取到了可以翻译的语言列表，但是像图中的内容是无法显示给用户的，还需要把它们转换成对用户友好的名称，因此我们定义 GetLanguageNames 函数完成这个功能：

private SortedDictionary<string, string> languageCodesAndTitles =
            new SortedDictionary<string, string>(Comparer<string>.Create((a, b) => string.Compare(a, b, true)));
private void GetLanguageNames()
{
    // 获得简体中文的语言名称
    string uri = TEXT_TRANSLATION_API_ENDPOINT + "GetLanguageNames?locale=zh-CHS";
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);
    request.Headers.Add("Ocp-Apim-Subscription-Key", TEXT_TRANSLATION_API_SUBSCRIPTION_KEY);
    request.ContentType = "text/xml";
    request.Method = "POST";
    DataContractSerializer dcs = new DataContractSerializer(Type.GetType("System.String[]"));
    using (Stream stream = request.GetRequestStream())
    {
        dcs.WriteObject(stream, languageCodes);
    }
        
    // 把返回的 xml 信息抽取到数组中
    var response = request.GetResponse();
    string[] languageNames;
    using (Stream stream = response.GetResponseStream())
    {
        languageNames = (string[])dcs.ReadObject(stream);
    }
        
    // 把支持的语言列表及其友好名称保存到字典数据结构中，
    // 随后会把它们绑定给 combo box 控件进行显示
    for (int i = 0; i < languageNames.Length; i++)
    {
        languageCodesAndTitles.Add(languageNames[i], languageCodes[i]);
    }
}

这次我们拿到了用中文显示的语言名称：

初始化源和目标语言列表

当获得了支持翻译的语言列表后，就可以通过 UI 控件把它们显示出来：

private void PopulateLanguageMenus()
{
    int count = languageCodesAndTitles.Count;
    foreach (string menuItem in languageCodesAndTitles.Keys)
    {
        FromLanguageComboBox.Items.Add(menuItem);
        ToLanguageComboBox.Items.Add(menuItem);
    }

    // 设置默认的源语言和目标语言
    FromLanguageComboBox.SelectedItem = "英语";
    ToLanguageComboBox.SelectedItem = "简体中文";
}

在我们的使用场景中，把默认的翻译文本设置为 "英语"，翻译的目标语言为 "简体中文"：

翻译文本

接下来介绍文本翻译的 API，其核心是下面的 url 请求：

TEXT_TRANSLATION_API_ENDPOINT + "Translate?text=" + 待翻译文本 + "&from=" + 源语言 + "&to=" + 目标语言

同样，我们把它封装成一个具有完整功能的函数：

private void TranslateButton_Click(object sender, EventArgs e)
{
    string textToTranslate = TextToTranslate.Text.Trim();
    string fromLanguage = FromLanguageComboBox.SelectedValue.ToString();
    string fromLanguageCode = languageCodesAndTitles[fromLanguage];
    string toLanguageCode = languageCodesAndTitles[ToLanguageComboBox.SelectedValue.ToString()];

    // 如果要翻译的文本是英语，还可以进行拼写检查
    if (fromLanguageCode == "en")
    {
        textToTranslate = CorrectSpelling(textToTranslate);
        // 把更新后的文本保存到 UI 控件上
        TextToTranslate.Text = textToTranslate;     
    }

    // 处理文本为空和不需要翻译的情况
    if (textToTranslate == "" || fromLanguageCode == toLanguageCode)
    {
        TranslatedText.Text = textToTranslate;
        return;
    }

    // 通过 http 请求执行翻译任务
    string uri = string.Format(TEXT_TRANSLATION_API_ENDPOINT + "Translate?text=" +
        System.Web.HttpUtility.UrlEncode(textToTranslate) + "&from={0}&to={1}", fromLanguageCode, toLanguageCode);
    var translationWebRequest = HttpWebRequest.Create(uri);
    translationWebRequest.Headers.Add("Ocp-Apim-Subscription-Key", TEXT_TRANSLATION_API_SUBSCRIPTION_KEY);
    WebResponse response = null;
    response = translationWebRequest.GetResponse();

    // 把返回的翻译结果抽取到 UI 控件中
    Stream stream = response.GetResponseStream();
    StreamReader translatedStream = new StreamReader(stream, Encoding.GetEncoding("utf-8"));
    System.Xml.XmlDocument xmlResponse = new System.Xml.XmlDocument();
    xmlResponse.LoadXml(translatedStream.ReadToEnd());
    TranslatedText.Text = xmlResponse.InnerText;
}

在调用翻译文本的 API 前，需要先从 UI 控件中取得用户设置的源语言和目标语言，并且还要对放在 url 中传输的文本内容进行编码：

string uri = string.Format(TEXT_TRANSLATION_API_ENDPOINT + "Translate?text=" +
    System.Web.HttpUtility.UrlEncode(textToTranslate) + "&from={0}&to={1}", fromLanguageCode, toLanguageCode);

拼写检查

对于英语，我们可以通过 Bing Spell Check 服务进行翻译前的拼写检查。比如 TranslateButton_Click 函数中的：

// 如果要翻译的文本是英语，还可以进行拼写检查
if (fromLanguageCode == "en")
{
    textToTranslate = CorrectSpelling(textToTranslate);
    // 把更新后的文本保存到 UI 控件上
    TextToTranslate.Text = textToTranslate;     
}

主要的拼写检查逻辑被封装在了 CorrectSpelling 函数中：

private string CorrectSpelling(string text)
{
    string uri = BING_SPELL_CHECK_API_ENDPOINT + "?mode=spell&mkt=en-US";
    // 创建拼写检查的请求
    HttpWebRequest spellCheckWebRequest = (HttpWebRequest)WebRequest.Create(uri);
    spellCheckWebRequest.Headers.Add("Ocp-Apim-Subscription-Key", BING_SPELL_CHECK_API_SUBSCRIPTION_KEY);
    spellCheckWebRequest.Method = "POST";
    spellCheckWebRequest.ContentType = "application/x-www-form-urlencoded"; // 这个设置是必须的！

    // 把文本内容放在请求的 body 中
    string body = "text=" + System.Web.HttpUtility.UrlEncode(text);
    byte[] data = Encoding.UTF8.GetBytes(body);
    spellCheckWebRequest.ContentLength = data.Length;
    using (var requestStream = spellCheckWebRequest.GetRequestStream())
        requestStream.Write(data, 0, data.Length);
    HttpWebResponse response = (HttpWebResponse)spellCheckWebRequest.GetResponse();

    // 从返回中取出 json 格式的拼写检查结果
    var serializer = new System.Web.Script.Serialization.JavaScriptSerializer();
    var responseStream = response.GetResponseStream();
    var jsonString = new StreamReader(responseStream, Encoding.GetEncoding("utf-8")).ReadToEnd();
    dynamic jsonResponse = serializer.DeserializeObject(jsonString);
    var flaggedTokens = jsonResponse["flaggedTokens"];

    // 我们定义一个规则来应用拼写检查的结果，
    // 比如：当拼写检查的权值大于 0.7 时就用建议的值替换掉文本中的值。
    var corrections = new SortedDictionary<int, string[]>(Comparer<int>.Create((a, b) => b.CompareTo(a)));
    for (int i = 0; i < flaggedTokens.Length; i++)
    {
        var correction = flaggedTokens[i];
        var suggestion = correction["suggestions"][0];
        if (suggestion["score"] > (decimal)0.7)         
            corrections[(int)correction["offset"]] = new string[]   
                { correction["token"], suggestion["suggestion"] };
    }

    foreach (int i in corrections.Keys)
    {
        var oldtext = corrections[i][0];
        var newtext = corrections[i][1];
        if (text.Substring(i, oldtext.Length).All(char.IsUpper)) newtext = newtext.ToUpper();
        else if (char.IsUpper(text[i])) newtext = newtext[0].ToString().ToUpper() + newtext.Substring(1);
        text = text.Substring(0, i) + newtext + text.Substring(i + oldtext.Length);
    }
    return text;
}