阿姆斯特朗回旋炮

摘要：项目场景： 最近在项目中使用了RabbitMq，其中有一个功能必须能随时切断RabbitMq的coumser。第一时间写出来的代码如下： 伪代码： 通过关闭channel，消费者自然会关闭。然而，项目开始报错： channel关闭抛出ShutdownSignalException，抛出异常就表示这种 阅读全文

摘要：本次爬虫所要爬取的数据为京东建材数据，在爬取京东的过程中，发现京东并没有做反爬虫动作，所以爬取的过程还是比较顺利的。 为什么要用WebMagic： WebMagic作为一款轻量级的Java爬虫框架，可以极大的减少爬虫的开发时间 为什么要使用MQ（本项目用的RabbitMq，其他的MQ也可以）： 解耦 阅读全文

摘要：webMagic解析淘宝cookie 提示Invalid cookie header 在使用webMagic框架做爬虫爬取淘宝极又家页面时候一直提醒cookie设置不可用如下图 淘宝的验证特别严重，cookie没有正常设置进去后面会频繁弹出验证页面，这是我们不想看到的。为了解决这个问题，debug进 阅读全文