西瓜一号

网站搜索框添加语音搜索功能

这是很久前写的文章,博客关闭之后我会翻出来再发一遍。

最近发现很多网站的搜索框里面都添加了语音搜索功能,大的像谷歌搜索,淘宝官网,以DZ为模版的论坛。小的网站像很多个人博客,网址导航网站等……其实像谷歌和淘宝出现语音搜索都不足为奇,但是个人博客上出现这个功能,引起了我的关注。下面是我探索的步骤,与大家分享!

一. 语音输入只有在Chrome浏览器下才能看到

语音搜索功能只有在Google Chrome浏览器下才能看到,在IE,Firefox下测试都看不到。之后查官方文档显示该语音搜索功能现在只支持webkit内核的浏览器,大家赶快下个Google Chrome测试一下吧!

如果你没有安装谷歌浏览器,只是想试试 语音识别 的功能,有个很简单的办法!我在家上网,不经意间发现QQ聊天面板,多功能辅助输入里面多了一个语音识别功能,于是尝试了几次,准确率还是比较高的,大家可以试试!

二.如何在自己的网站上实现 语音搜索识别

既然很多个人博客上都有该功能,那么说明这个功能能通过调用第三方API实现……原本以为会很难,应该是没想到会如此的简单……原理就是一句代码 “ x-webkit-speech ”,将这句代码添加在你的<input>标签里面,比如:

<FORM method="post" action="">
标题:<INPUT type="text" name="title"  x-webkit-speech lang="zh-CN">
<INPUT type="submit" value="提交">
</FORM>

就这么简单……不信你可以马上将这段代码保存到任意的HTML文件,比如新建一个index.html文件,然后用Chrome打开!x-webkit-speech后面可以跟很多参数,例如代码中的 lang="zh-CN" 参数(这个参数也可以不加)。

还有 x-webkit-grammar="bUIltin:search" 使得语音输入的内容尽量靠近搜索内容,去除多余的字符,例如“的”、“啦”,

onwebkitspeechchange 发声语音改变时会触发,可以用它来设置说完话就自动搜索,比如

<input type="text" x-webkit-speech onwebkitspeechchange="$(this).cloest('form').submit()"/>,想知道其他更具体的信息可以给我留言。

三.google语音搜索识别探究

我做事向来喜欢打破砂锅查到底,所以开始了折腾!因为这个简单的HTML5应用激发了我的兴趣。我最开始猜测这是webkit内核的浏览器自带的功能,因为我用Chrome 开发人员工具抓不到数据包。但是断网后就发现该功能不能用了,所以可以确定实现这个方法一定是调用了远程API。而且调用API的这段代码还是写在Chrome内核里面的,不然数据包会被Chrome 开发人员工具抓到。

先说说怎么抓包吧,打开一个网站,按F12 ---> 在出现的窗口中选择Network--->再刷新网站---->就能看到你抓到的数据包了。点击能查看每个数据包的详情,比如我用谷歌翻译,翻译“我是谁”抓到的包。

现在我们能确定两点

1. 语音搜索识别功能是调用远程API(联网解析的)

2. 调用API的代码写在Chrome内核中

确定这两点之后我的思路就清晰多了!因为Chrome是开源的,所以大部分源代码都是开放的。很顺利,我在 http://src.chromium.org/viewvc/chrome/trunk/src/content/browser/ 找到了 speech模块!

于是开始分析,其实谈不上分析,就是根据用C语言写的源代码的文件名的意思慢慢猜测。因为找不到哪里能下载整个Chrome源代码的链接,就只能一个一个网页去打开,希望有下载链接的朋友分享一下。最后在speech文件夹下的google_one_shot_remote_engine.cc文件里找到了我要的链接!!

http://src.chromium.org/viewvc/chrome/trunk/src/content/browser/speech/google_one_shot_remote_engine.cc?revision=170920&view=markup

我把主要的部分引用过来

const char* const kDefaultSpeechRecognitionUrl =
    "https://www.google.com/speech-api/v1/recognize?xjerr=1&client=chromium&";
const char* const kStatusString = "status";   //调用接口后返回的状态代码,0表示成功,代码之后会单独说明
const char* const kHypothesesString = "hypotheses";  //猜测的结果,一个json结构的数
const char* const kUtteranceString = "utterance";   //解析出来的词语
const char* const kConfidenceString = "confidence";  //调用会返回有多个结果,这是解析的信心值
const int kWebServiceStatusNoError = 0;
const int kWebServiceStatusNoSpeech = 4;
const int kWebServiceStatusNoMatch = 5;

const AudioEncoder::Codec kDefaultAudioCodec = AudioEncoder::CODEC_FLAC;//发送的是FLAC格式的声音文件

//调用谷歌远程引擎
void GoogleOneShotRemoteEngine::StartRecognition() {
  DCHECK(delegate());
  DCHECK(!url_fetcher_.get());
  std::string lang_param = config_.language;

  if (lang_param.empty() && url_context_) {
    // If no language is provided then we use the first from the accepted
    // language list. If this list is empty then it defaults to "en-US".
    // Example of the contents of this list: "es,en-GB;q=0.8", ""
    net::URLRequestContext* request_context =
        url_context_->GetURLRequestContext();
    DCHECK(request_context);
    // TODO(pauljensen): GoogleOneShotRemoteEngine should be constructed with
    // a reference to the HttpUserAgentSettings rather than accessing the
    // accept language through the URLRequestContext.
    std::string accepted_language_list = request_context->GetAcceptLanguage();
    size_t separator = accepted_language_list.find_first_of(",;");
    lang_param = accepted_language_list.substr(0, separator);
  }

  if (lang_param.empty())
    lang_param = "en-US";

/*************************************************************
/* 重要注释:  
/*     parts参数非常的重要,里面将存储接口参数,根据下面的代码
/* 我们可以知道有如下几个参数: 下文会单独解释
/*  "lang=" 
/*  "lm="
/*  "xhw="
/*  "maxresults="
/*  "key=" 
**************************************************************/
  std::vector<std::string> parts;
  parts.push_back("lang=" + net::EscapeQueryParamValue(lang_param, true)); 
  /* "lang="是一个重要的参数,用来选择语言类型,默认是"en-US" 美式英文,中文为zh-CN,其余语言代码参考:
  http://msdn.microsoft.com/en-us/library/ms533052(v=vs.85).aspx */

  if (!config_.grammars.empty()) {
    DCHECK_EQ(config_.grammars.size(), 1U);
    parts.push_back("lm=" + net::EscapeQueryParamValue(config_.grammars[0].url,
                                                       true));
  }

  if (!config_.hardware_info.empty())
    parts.push_back("xhw=" + net::EscapeQueryParamValue(config_.hardware_info,
                                                        true));
  parts.push_back("maxresults=" + base::UintToString(config_.max_hypotheses));
  parts.push_back(config_.filter_profanities ? "pfilter=2" : "pfilter=0");

  std::string api_key = google_apis::GetAPIKey();
  parts.push_back("key=" + net::EscapeQueryParamValue(api_key, true));

}  // namespace content

看不懂代码的没关系,我说重点。

"https://www.google.com/speech-api/v1/recognize?xjerr=1&client=chromium&" 就是我们一直要找的那个调用接口。

他的参数我们通过Chrome源代码知道的有:

xjerr=1 参数功能不详,值只能是0或1,去掉也能正常获得结果;

client=chromium 客户端类型,参数不详,修改和去掉能正常获取结果;

lang=en-US 说话的语言类型,这里是英文,中文为zh-CN,其余语言代码参考:

http://msdn.microsoft.com/en-us/library/ms533052(v=vs.85).aspx ;

lm 语法的URL地址,没做深入研究;

xhw 硬件信息,可能用来判断是移动设备还是PC;

maxresults=1 最大返回结果数量,结果根据confidence参数排了序;

key 谷歌API密匙,现在没有也没关系。

此外还要准备一个.flac格式的音频,我试过wav格式的音频也是可以的,网上说只有flac格式的声音识别率最高。

做好这些准备工作,就能开始调用该接口,帮我们完成解析工作了。这篇文字太长了,我马上另起一篇,并且奉上代码和所有测试文件。

posted on 2015-10-11 22:19  西瓜一号  阅读(1109)  评论(0编辑  收藏  举报

导航