01-Twitter Streaming API的调用 | 02.数据获取

01-Twitter Streaming API的调用

郑昀 201006 隶属于《实时分析搜索引擎/02.数据获取》小节

修改历史：

1 2010年10月修正，因为Twitter要求必须走OAuth接口。

 

Twitter 提供了两种 Streaming 接口，让第三方可以省却轮询，由 Twitter 主动把合适的数据推送过来，近乎实时。

1、chirpstream api

接口地址是：http://chirpstream.twitter.com/2b/user.json [需FQ]

这个接口只是把你和你的好友以及各种与你有关的消息都推送过来。

参考此文《Tutorial: consuming Twitter's real-time stream API in Python 》，也可以从 http://pastebin.com/U4m1Zsvs 这里复制此文源代码。

你需要维持一个 Socket 长连接。

你还需要通过 Twitter 的 OAuth 验证。

你将会得到一个 Twitter 用户登录后所应该看到的各种消息流。

我们检测单次数据包的最后是否以 \r\n 结尾：

if data.endswith("\r\n") and self.buffer.strip():

以此来判断检测一个完整的 JSON object 。

程序需要处理的几种常用消息：

• friends : 登陆用户都有哪些好友，即 my followings；这是一个id数组，每一个 id 代表一个用户，此 id 并非用户的 screenname ，而是 Twitter 用户的唯一数字标识。你可以通过持续积累 tweets 消息中的 user id ，从而获知自己的 friends id 数组中每一个 id 对应是谁。
• event 之 retweet : 其他用户使用官方格式的 retweet 转发的消息；
• event 之 favorite : 其他用户使用官方格式的 favorite 按钮收藏的消息；
• event 之 follow : 其他用户关注了本登陆用户；
• tweet : 普通的消息。从 in_reply_to_user_id 字段可获知是回复给谁的消息。

friends 消息数据示范如下：

{u'friends': [80831118, 750713, 1580781,]}

event 共有以下类型：

• follow
• direct_message
• retweet
• favorite
• unfavorite
• delete

event 之 消息数据示范如下：

{u'source': {u'id': 1490631, u'location': u'30.209214,120.198216',u'screen_name': u'Fenng'}, u'created_at': u'Sun Jun 20 08:46:09 +0000 2010', u'target': {u'id': 31347758, u'screen_name': u'minzhou',u'name': u'Min Zhou'u'following': True}, u'event': u'follow' }（已略去大量无关字段）即 Json 中用 u'event': u'follow' 来指明本消息是什么类型的 event 消息。

tweet 消息数据示范如下：

{u'text': u'@cnkang \u5176\u5b9e\u6211\u5bf9\u627e\u5927\u8d28\u6570\u66f4\u6709\u5174\u8da3\u2
026\u2026', u'created_at': u'Sun Jun 20 08:43:36 +0000 2010', u'coordinates': None, u'source': u'<a href="http://echofon.com/" rel="nofollow">Echofon</a>', u'in_reply_to_status_id': None, u'in_reply_to_screen_name': u'cnkang', u'in_reply_to
_user_id': 35457544, u'place': None, u'geo': None, u'id': 16604579153L, u'user': {u'id': 6132042, u'screen_name': u'delphij', u'following': None}}（已略去大量无关字段）这是一个 Reply 消息。一般 Twitter 客户端软件都是根据此消息体内的“in_reply_to_user_id ”字段判断被回复者的id 是不是自己的id，或者在不在自己的 friends id 数组里，如果都不是，就可以忽略此 Reply 消息。

2、streaming api

Twitter 的这个接口能够让第三方近乎实时地获取公开数据的各种子集：

『The Twitter Streaming API allows near-realtime access to various subsets of Twitter public statuses.』

接口地址：http://dev.twitter.com/pages/streaming_api ，需FQ。

2.1.权限问题

以 Streaming 方式连接 stream.twitter.com ，需要先通过 Twitter OAuth验证。

目前默认访问者只能使用 filter 这一个方法。

其他的 firehose 、retweet 、links 等方法则必须拥有访问权限，否则会得到如下提示：

Error 403 User not in required role

。

如果想申请特别权限，可以写信给 api@twitter.com ，说明原因。

2.2.判断 Json Object 结尾

由于是长连接，所以判断一个完整的 Json Object ，需要某个特殊标志。这还需要请求参数的配合。

Streaming API 的 filter 方法有一个输入参数：delimited。

它的含义『Indicates that statuses should be delimited in the stream. Statuses are represented by a length, in bytes, a newline, and the status text that is exactly length bytes. Note that "keep-alive" newlines may be inserted before each length.』

所以我们指定它的值是 newline ，这样 Json Object 之间就以 \r\n 作为分隔符。

文档上称 『 every object is returned on its own line, and ends with a carriage return.
Newline characters (\n) may occur in object elements (the text element of a status object, for example),
but carriage returns (\r) should not.』也就是说，\n 会出现在 Json Object 包体内，但 \r 则不会。
所以，我们检测单次数据包的最后是否以 \r\n 结尾：

if data.endswith("\r\n") and self.buffer.strip():

以此来判断检测 JSON object 的结尾。

2.3.Streaming API无法处理『Non-space delimited languages』

Twitter 的 John Kalucki 曾经这样回答：

We break the status text into tokens by whitespace and punctuation, then
apply the tokens to a hashmap of tracked terms. If the language doesn't have
whitespace, the only thing that will match is the entire Tweet.

即 Streaming API 目前还不能支持阿拉伯语、汉语、日语等『Non-space delimited languages』，原因是他们只能根据空格和标点把tweet打散成一个一个token。

http://apiwiki.twitter.com/User-Stream-Implementation-Suggestions 也有一句话提示：
『Non-space delimited languages are currently unsupported by track. For example: Arabic, Chinese, and Japanese language queries will not return results.』

2.4.track 参数的输入

先不理会他们能不能处理亚洲文字的追踪。

我们用

track = ["的","我","了","#duanzi","@rtmeme","@zhengyun"]

这么一个数组定义所要追踪的 keywords ，词与词是 Or(或) 的关系。注意，参考我的“玩聚网技术Wiki\01.数据抓取”之《06-HTTP请求中的编码问题》，必须对track里的中文字符的 UTF-8 编码字符串做转义：

trackKeywords = map(lambda s: unicode(s, 'gbk', 'ignore').encode('UTF-8', 'ignore'),track)

一旦一条新 tweet 发布，正文提及了 track 数组中的某一个词，这条消息就会被主动推送过来。它的 Json 格式与 chirpstream api 之 tweet 格式一样。

2.5.locations 参数的输入

filter 方法支持用发布者的地理位置过滤，比如 locations 参数为

[-74,40,-73,41]

就可以把从 New York 发布的 tweets 都推送过来。这也要求用户的 tweet 用 Geotagging API 发布，否则无法确定发布者的地理信息。默认用户设置中“Add a location to your tweets”这个选项是选中的。

-74,40的含义是，经度-74，维度40.

第一对经纬度应该是目标区域的SW(西南角)的位置信息。

-74,40和-73,41选中的区域叫做 bounding box  ，这个区域很小，经度维度之间不能相差一度。如果区域过大，会得到如下提示：

Location track must be less than 1 degrees on a side 。

你选中的目标区域，它的经纬度信息可从：http://www.getlatlon.com/ 得到。

注：中国大陆用户很多都是从代理上的 Twitter ，所以它的 geo 信息可能是代理的。

 

 

2.6.Twitter Annotations的追踪

Twitter Streaming API将支持Twitter Annotations：你可以track一个注释类型，比如你可以近乎实时地得到所有标注了“movie”注释类型的 tweets ；你还可以track一个注释类型和值。

背景知识：什么是Twitter Annotations. 背景PPT：[slideshare]Twitter API Annotations .