#论坛舆情监测#系统实现与应用

问题提出

我们曾为一客户提供网络推广服务，该客户的业务是经销某高端汽车窗膜品牌，需要及时获取车主在网上对该品牌的咨询和评价意见。

目前全国的车主主要集中在三大汽车网站上讨论、交流各种意见，这三大汽车网站是汽车之家、爱卡汽车和太平洋汽车，这三大汽车网站都开设了BBS供车主讨论，但比较特殊的是针对某个品牌某款车型，都专门开设一个论坛，供该车型的车主讨论各种问题，所以某车主需要讨论贴膜话题时，也只会在其车型论坛里发帖讨论，而不是在一个专门的贴膜论坛上讨论。

市场上所有的车型共有上千种，所有每个汽车网站都有上千或者数千个论坛，如果用人工的方法每个论坛都浏览一遍，显然是不合算的，所以我们需要开发一个论坛舆情监测系统，自动、循环地监测各汽车网站的每个论坛。

 

性能要求

实时

论坛舆情监测首要的性能要求是实时，必须做到楼主发帖后尽快监测出来，以便及时处理，否则竞争对手跟帖发表负面信息，不利于自己的市场推广，甚至会失去客户。

最好能在一小时内监测到楼主的发帖，以及各种回帖，这就意味着针对每个网站，必须在1小时内完成一次循环监测。

而且，如果一次循环太长，则新帖有空能被沉到论坛帖子列表的首页意外，不利于监测发现，造成信息遗漏。

 

深入

多数论坛帖子的关键词会出现在帖子标题上，但也有一些帖子，主要内容和关键词只出现在帖子正文或者跟帖里，必须抽取、分析帖子正文和跟帖，才能完整分析帖子内容，准确挖掘信息。

 

简捷

论坛舆情监测系统的用户往往是一些非IT行业的企业用户，他们需要的是最终结果，只需将监测到帖里列表提供给用户极可，由用户注意点击各帖子，根据帖子的具体情况进行处理，比如回复其客户的疑问，反击竞争对手的信息，甚至投诉删贴。 

无需将监测软件交给用户，因为他们没有维护能力。

 

监测目标

以我们的汽车窗口客户为例，我们的监测目标定为三大汽车网站，汽车之家，爱卡汽车和太平洋汽车网。

还包括一些有影响力的地方生活门户网站；

以后还会根据需要增加监测目标。

 

监测难度

数量大

每个网站都有上千、数千个论坛，三大汽车网站加起来就会有小一万个论坛，而这些数量庞大的论坛又需要实时、准实时地监测。

 

存在反爬行措施

有些监测目标出于各种考虑，实时了反爬行措施，如果频繁地请求访问，会弹出一些干扰信息，如果不能自动处理这些干扰信息，则必须人工干预才能继续爬行。

 

监测目标会变化

监测目标有可能会增加新的论坛，或者论坛搬家，网址发生变动，或者网页样式发生变化，这些变动都要及时适应。

 

长时间运行

监测程序需要7X24小时运行，但由于处理各种复杂的网页数据、而且网络环境也可能出现各种情况，导致监测程序中途出错。

 

关键词

以我们的汽车窗膜客户为例，我们将监测关键词定为：

• XXX – 注解：若干个客户产品品牌的关键词，
• XXX – 注解：当然，也可以将竞争对手的品牌关键词列为监测对象
• XXX
• 贴膜
• 帖膜 – 注解：错别字也应该列为监测对象，因为楼主有可能输入错别字
• 车膜 – 注解：含义接近的词也应该监测
• 窗膜

 

实时结果

以下为实时结果的截图，

 

我们的企业客户只要访问这个网址即可得到实时的监测结果

论坛舆情监测

http://www.v-n-v.com/business/bbs.html

 

更新说明：

最新的开发文档我们发布在豆瓣上：#论坛舆情监测#最新开发文档

实时的开发讨论我们在百度舆情吧进行：#论坛舆情监测#开发讨论