大规模批量采集微信公众号文章(支持微信公众号最大规模抓取 包括阅读数 好看数和评论数)

大规模批量采集微信公众号文章

记录一下今天的成果，确实可以抓取到，配置完成之后1分钟可以抓取100+（后来优化了一下，可以达到300左右）片吧，我没有用多进程，如果是多进程的话，效率会翻倍的增加。

抓取思路

　　网上的方法大约有四种(其实有5种方式 还是一种 不方便写出，太暴力)

　　第一：通过搜狗微信  搜索入口 ，模拟搜索抓取，效率比较低，但是加了代理可以每天抓几百万。

　　第二：通过抓包工具截取htts请求的数据包，意思就是使用pc端微信登录，监听公众号的推送消息，每当监听到推送之后就把数据获取下来，缺点是无法获取以前的历史记录

　　第三：通过微信公众号的后台获取cookie和token来抓取；缺点是需要注册一个公众号，而且token有过期时间

　　第四：万能key或者公众号key抓取 ，key有效时间为两个小时，每个微信号一天最多可以抓取1200次，优势只要解决key的自动获取就非常方便自动。

以上几种是网友提供的思路，都可以实现，但同时也都有缺点。

以下是我用第三种方法实现的；

使用php,node.js都可以抓取；

　　1.注册微信公众，登录之后选择新建素材，然后点击超链接，搜索任意公众号，保存该公众号的fakeid，同时保存cookie和token，

　　2.在https请求中 设置header的cookie为第1步保存的cookie，参数是token，发送https请求，你会惊奇的发现已经拿下某公众号的历史记录 （默认40条）；

　　3.然后根据列表里面的内容链接地址，再获取具体的网页内容；

　　4.把获取的内容存到本地的数据库中

总结：以上思路仅供参考，具体实现需要靠自己；

提示：源码收费，还请谅解；

------------------------------------------------------------------------------

鉴于有人咨询了一下抓取程序价格，我在这里声明一下：

抓取的功能没有你想的那么智能

1.需要指定公众号（可以指定多个，没有上限）

2.需要设置token以及对应的cookie参数；

3.抓取速度，大约一分钟可以抓取300片左右（视网络，内容多少而定）

看到这里，你还没有放弃，那么看来你是真相要了。

可以一次性需求

可以购买源码，因为源码是我自己开发方便我自己阅读用的，一般要买源码的都需要做一些修改和开发，视情况而定

如需详细联系 请加 QV,qq 85437898  另外我们支持全网抓取和大规模抓取 包括阅读数 好看数和评论数