摘要： http://blog.csdn.net/leave00608/article/details/17442163https://svn.apache.org/repos/asf/nutch/tags/release-2.2.1/http://blog.csdn.net/hsb1132/article... 阅读全文

摘要： 问题：列表页预计抽取 355+6 但实际只抽取到220条链接. 原因是nutch对http下载的内容的长度进行了限制。解决方案：这里将这个属性扩大10倍。vim conf/nutch-defalut.xml 修改http.content.limit属性，将其由65536 改为 655360 ht... 阅读全文

摘要： firefox chromefirebug xpath checkerMTracer 2.1带注册码 链接：http://pan.baidu.com/s/1o67H9VW 密码：14noAltovaXMLSpy2006 阅读全文

摘要： ××××.com //ul[@data-key='region']/li/a/@href //ul[@class='detail']/li[1]/a[1]/@href //div[@class=... 阅读全文

摘要： bin/hadoop jar apache-nutch-1.7.job org.apache.nutch.crawl.CrawlDbReader crawl/crawldb -stats -sort会发现好多unfetched，原因是：nutch-default.xml对generate的时候进行... 阅读全文

摘要： nutch开发环境搭建 nutch-1.3导入eclipse nutch-1.7导入eclipsenutch部署 nutch-1.3linux下部署 nutch-1.7编译 nutch-1.2与nutch1.3部署的改变 nutch-2.2.1 hadoop-1.2.1 hbase-0.92.1集群... 阅读全文

摘要： 机器学习入门阶段程序员易犯的5个错误http://f.dataguru.cn/forum.php?mod=viewthread&tid=298490&fromuid=937421.将机器学习看得高不可攀机器学习不过是另一堆技术的集合，你可以用它来解决复杂问题。这是一个飞速发展的领域，因此，机器学习的... 阅读全文

摘要： 其实 VIEWSTATE 不用太在意，倒是 JTCookieID 需要注意，这个才应该是服务器上用来维护 Session 的那个 Cookie。所以，你用 httpclient 的时候，不能上来就直接发到“POST /PersonLogin.aspx”上，因为那样的话，服务器上还没有建立一个有效的 ... 阅读全文

摘要： http://user.qzone.qq.com/1649677458这家公司的爬虫应该挺牛的！@#！#！~#￥￥￥@@http://www.site-digger.com/ 阅读全文

摘要： http://trends.baidu.com/ http://mvnrepository.com/artifact/net.sourceforge.htmlcleaner/htmlcleaner/2.8 阅读全文