用树莓派实现对话机器人

用树莓派实现对话机器人

最近用树莓派实现了一个能和人对话的机器人，简要介绍一下。

树莓派（Raspberry Pi）是世界上最流行的微型电脑主板，是开源硬件的领导产品，它为学生计算机编程教育而设计，只有信用卡大小，且价格低廉。支持linux(debian)等操作系统。最重要的是资料完善，社区活跃。
我用的是树莓派B+版本，基本配置是博通BCM2836处理器，4核900M主频，1G RAM。

我的目标是做成一个和人对话的机器人，这就需要机器人有输入设备和输出设备。输入设备是麦克风，输出可以是HDMI、耳机或音响，我这里用了音响。下面是我的树莓派照片。4个USB接口分别连了无线网卡、无线键盘、麦克风、音响供电。


我们可以把机器人的对话分成三个部分：听、思考、说。
“听”，是把人说的话记录下来，并转换成文字。
“思考”，就是根据不同的输入给出不同的输出。比如，对方说“现在时间”，你就可以回答“现在是北京时间xx点xx分”。
“说”，是把文字转换成语音，并播放出来。

这三个部分涉及到大量语音识别、语音合成、人工智能等技术，这些都是要花大量时间精力研究的，好在有些公司已经开放了接口给客户使用。这里，我选择了百度的API。下面分别说明这三个部分的实现。

“听”

首先是把人说的话录制下来，我使用了arecord工具。命令如下：

1. arecord -D "plughw:1" -f S16_LE -r 16000 test.wav

其中，-D参数后接录制设备，连接麦克风后，树莓派上有2个设备：内部设备和外部usb设备，plughw:1代表使用外部设备。-f表示录制的格式，-r表示声音采样频率。由于后面提到的百度语音识别对音频文件格式是有要求的，我们需要录制成符合要求的格式。另外，在这里我没有指定录制的时间，它会一直录制下去，直到用户按下ctrl-c。录制后的音频文件保存为test.wav。
接下来，我们要把音频转换成文字，即语音识别（asr），百度的语音开放平台提供了免费的服务，并支持REST API
文档见： http://yuyin.baidu.com/docs/asr/57
流程基本就是获取token，把需要识别的语音信息、语音数据、token等发送给百度的语音识别服务器，就能获取到对应的文字。因为服务器支持REST API，我们可以用任何语言来实现客户端的代码，这里使用的是python

<ol style="margin:0 1px 0 0px;padding-left:40px;" start="1" class="dp-css"><li># coding: utf-8<br /> </li><li><br /></li><li>import urllib.request<br /></li><li>import json<br /></li><li>import base64<br /></li><li>import sys<br /></li><li><br /></li><li>def get_access_token():<br /></li><li>url = "https://openapi.baidu.com/oauth/2.0/token"<br /></li><li>grant_type = "client_credentials"<br /></li><li>client_id = "xxxxxxxxxxxxxxxxxx"<br /></li><li>client_secret = "xxxxxxxxxxxxxxxxxxxxxx"<br /></li><li><br /></li><li>url = url + "?" + "grant_type=" + grant_type + "&" + "client_id=" + client_id + "&" + "client_secret=" + client_secret<br /></li><li><br /></li><li>resp = urllib.request.urlopen(url).read()<br /></li><li>data = json.loads(resp.decode("utf-8"))<br /></li><li>return data["access_token"]<br /></li><li><br /></li><li><br /></li><li>def baidu_asr(data, id, token):<br /></li><li>speech_data = base64.b64encode(data).decode("utf-8")<br /></li><li>speech_length = len(data)<br /></li><li><br /></li><li>post_data = {<br /></li><li>"format" : "wav",<br /></li><li>"rate" : 16000,<br /></li><li>"channel" : 1,<br /></li><li>"cuid" : id,<br /></li><li>"token" : token,<br /></li><li>"speech" : speech_data,<br /></li><li>"len" : speech_length<br /></li><li>}<br /></li><li><br /></li><li>url = "http://vop.baidu.com/server_api"<br /></li><li>json_data = json.dumps(post_data).encode("utf-8")<br /></li><li>json_length = len(json_data)<br /></li><li>#print(json_data)<br /></li><li><br /></li><li>req = urllib.request.Request(url, data = json_data)<br /></li><li>req.add_header("Content-Type", "application/json")<br /></li><li>req.add_header("Content-Length", json_length)<br /></li><li><br /></li><li>print("asr start request\n")<br /></li><li>resp = urllib.request.urlopen(req)<br /></li><li>print("asr finish request\n")<br /></li><li>resp = resp.read()<br /></li><li>resp_data = json.loads(resp.decode("utf-8"))<br /></li><li>if resp_data["err_no"] == 0:<br /></li><li>return resp_data["result"]<br /></li><li>else:<br /></li><li>print(resp_data)<br /></li><li>return None<br /></li><li><br /></li><li>def asr_main(filename):<br /></li><li>f = open(filename, "rb")<br /></li><li>audio_data = f.read()<br /></li><li>f.close()<br /></li><li><br /></li><li>#token = get_access_token()<br /></li><li>token = "xxxxxxxxxxxxxxxxxx"<br /></li><li>uuid = "xxxx"<br /></li><li>resp = baidu_asr(audio_data, uuid, token)<br /></li><li>print(resp[0])<br /></li><li>return resp[0] </li></ol>

“思考”
这里我使用了百度api store的图灵机器人。其文档见：http://apistore.baidu.com/apiworks/servicedetail/736.html
它的使用非常简单，这里不再赘述，代码如下：

<ol style="margin:0 1px 0 0px;padding-left:40px;" start="1" class="dp-css"><li>import urllib.request<br /> </li><li>import sys<br /></li><li>import json<br /></li><li><br /></li><li>def robot_main(words):<br /></li><li>url = "http://apis.baidu.com/turing/turing/turing?"<br /></li><li><br /></li><li>key = "879a6cb3afb84dbf4fc84a1df2ab7319"<br /></li><li>userid = "1000"<br /></li><li><br /></li><li>words = urllib.parse.quote(words)<br /></li><li>url = url + "key=" + key + "&info=" + words + "&userid=" + userid<br /></li><li><br /></li><li>req = urllib.request.Request(url)<br /></li><li>req.add_header("apikey", "xxxxxxxxxxxxxxxxxxxxxxxxxx")<br /></li><li><br /></li><li>print("robot start request")<br /></li><li>resp = urllib.request.urlopen(req)<br /></li><li>print("robot stop request")<br /></li><li>content = resp.read()<br /></li><li>if content:<br /></li><li>data = json.loads(content.decode("utf-8"))<br /></li><li>print(data["text"])<br /></li><li>return data["text"]<br /></li><li>else:<br /></li><li>return None</li></ol>

“说”
先需要把文字转换成语音，即语音合成（tts）。然后把声音播放出来。
百度的语音开放平台提供了tts的接口，并可配置男女声、语调、语速、音量。服务器返回mp3格式的音频数据。我们把数据以二进制方式写入文件中。
详见http://yuyin.baidu.com/docs/tts/136
代码如下：

<ol style="margin:0 1px 0 0px;padding-left:40px;" start="1" class="dp-css"><li># coding: utf-8<br /> </li><li><br /></li><li>import urllib.request<br /></li><li>import json<br /></li><li>import sys<br /></li><li><br /></li><li>def baidu_tts_by_post(data, id, token):<br /></li><li>post_data = {<br /></li><li>"tex" : data,<br /></li><li>"lan" : "zh",<br /></li><li>"ctp" : 1,<br /></li><li>"cuid" : id,<br /></li><li>"tok" : token,<br /></li><li>}<br /></li><li><br /></li><li>url = "http://tsn.baidu.com/text2audio"<br /></li><li>post_data = urllib.parse.urlencode(post_data).encode('utf-8')<br /></li><li>#print(post_data)<br /></li><li>req = urllib.request.Request(url, data = post_data)<br /></li><li><br /></li><li>print("tts start request")<br /></li><li>resp = urllib.request.urlopen(req)<br /></li><li>print("tts finish request")<br /></li><li>resp = resp.read()<br /></li><li>return resp<br /></li><li><br /></li><li>def tts_main(filename, words):<br /></li><li>token = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"<br /></li><li>text = urllib.parse.quote(words)<br /></li><li>uuid = "xxxx"<br /></li><li>resp = baidu_tts_by_post(text, uuid, token)<br /></li><li><br /></li><li>f = open("test.mp3", "wb")<br /></li><li>f.write(resp)<br /></li><li>f.close() </li></ol>

得到音频文件后，可以使用mpg123播放器播放。

1. mpg123 test.mp3

整合
最后，把这三个部分组合起来。
可以先把python相关的代码整合成main.py，如下：

<ol style="margin:0 1px 0 0px;padding-left:40px;" start="1" class="dp-css"><li>import asr<br /> </li><li>import tts<br /></li><li>import robot<br /></li><li><br /></li><li>words = asr.asr_main("test.wav")<br /></li><li>new_words = robot.robot_main(words)<br /></li><li>tts.tts_main("test.mp3", new_words) </li></ol>

再使用脚本，调用相关工具：

1. #! /bin/bash
   
2. arecord -D "plughw:1" -f S16_LE -r 16000 test.wav
   
3. python3 main.py
   
4. mpg123 test.mp3

好了，现在你可以和机器人对话了。运行脚本，对着麦克风说句话，然后按ctrl-c，机器人就会回你话了。