yyyyyyyyyyyyyyyyyyyy

摘要： 搜索引擎爬虫蜘蛛的USERAGENT大全 搜索引擎爬虫蜘蛛的USERAGENT收集，方便制作采集的朋友。 百度爬虫 * Baiduspider+(+http://www.baidu.com/search/spider.htm”) google爬虫 * Mozilla/5.0 (compatible; 阅读全文

摘要： jetty是web容器，和tomcat是同样的概念，但是具体实现不同。 netty是socket框架，和MINA是同样的概念，但是具体实现不同。 Netty系列之Netty高性能之道 1. 背景 1.1. 惊人的性能数据 最近一个圈内朋友通过私信告诉我，通过使用Netty4 + Thrift压缩二进 阅读全文

摘要： 正则表达式 前面十项，仅仅是想尽各种办法，突破各种常见限制，从而可以顺利访问网站，接下来的问题就是如何从一大堆html代码中提取我们需要的内容，主要介绍十分强大的正则表达式。 了解正则表达式 正则表达式是用来匹配字符串非常强大的工具，在其他编程语言中同样有正则表达式的概念，Python同样不例外，利 阅读全文

摘要： Cookie是指某些网站为了辨别用户身份、进行session跟踪而存储在用户本地终端上的数据（通常经过加密）,比如说有些网站需要登录才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用urllib2库保存我们登录的Cookie，然后再抓取其他页面就达到了目的了。 Opene 阅读全文

摘要： 异常处理 作为爬虫的抓取过程基本就那么多内容了，后面再将一些正则表达式的东西简单介绍一下基本就完事了，下面先说说异常处理的方法。先介绍一下抓取过程中的主要异常，如URLError和HTTPError。 URLError可能产生的原因主要有：网络无连接，即本机无法上网；连接不到特定的服务器；服务器不存 阅读全文

摘要： 第一个例子就设置了一个代理IP，也是不靠谱的，最好的方式就是多设置几个，如第二个例子，通过http://www.youdaili.net/Daili/你可以找到很多代理IP， 抓取国内网站时尽量选取中国的IP（虽然这种免费IP代理很多，不过免费的东西靠不靠谱就说不好了，实际上以我的经验，我会初始设置 阅读全文