yyyyyyyyyyyyyyyyyyyy

摘要： nutch搏斗之一问题描述：在用nutch1.0做generate 包括5亿url的crawldb时，它默认按照64M分块，分成777个map task，在运行的后期出现Could not find taskTracker/jobcache/job_200903231519_0017/attempt... 阅读全文

摘要： Nutch+HBase当我们为nutch的架构发愁的时候，nutch的开发人员送来了nutchbase。我一些简单的测试表明，在hadoop0.20.1和hbase0.20.2上，稍加修改可以运行起来。它的优点很明显：架构合理.开发者是这样说的，引用自jirahttp://issues.apache... 阅读全文

摘要： https://github.com/emyller/webkitcrawler一个开源的项目，可以快速入门。http://spiderformysql.com/http://crawl.group.iteye.com/关于爬虫的一个坛子，主要是Java开源组件Heritrix，nutch爬虫的源码... 阅读全文

摘要： Pyv8，PythonWebKit，Selenium，PhantomJS，Ghost.py 等等。。。。快速构建实时抓取集群[searchtb]定义：http://i.cnblogs.com/EditPosts.aspx?opt=1首先，我们定义一下定向抓取，定向抓取是一种特定的抓取需求，目标站点... 阅读全文

摘要： 现在网络上浏览器是风生水起，IE、Opera、Firefox、Safari、The World还有现在的Chrome，360，TT，搜狗 等。那可谓是百家争鸣。看似许多不同的浏览器，其实其中还是有很多相似之处。 浏览器最重要或者说核心的部分是“Rendering Engine”，可大概译为“... 阅读全文

摘要： PHP, Python, Node.js 哪个比较适合写爬虫？1.对页面的解析能力2.对数据库的操作能力（mysql）3.爬取效率4.代码量推荐语言时说明所需类库或者框架，谢谢。比如：python+MySQLdb+urllib2+reps:其实我不太喜欢用python(可能是在windows平台的原... 阅读全文

摘要： //如果网页源码中有些内容是js渲染过来的，那你通过HttpClient直接取肯定取不到，但是这些数据一般都是通过异步请求传过来的（一般都是通过ajax的get或者post方式）。那么你可以通过火狐浏览器的firebug或者chrome的审查元素，在网络选项中找到这个请求地址，再用HttpClien... 阅读全文

摘要： 一、研究生学位论文密级的确定 我校研究生学位论文密级划分为公开、内部、秘密、机密、绝密共五级。 密级确定为“内部”的学位论文，通常是指有待于公开发表的论文或准备据之申请专利或进行技术转让的科研项目的论文。 密级确定为国家“秘密”、“机密”和“绝密”的论文须有学校保密委员会办公室的批件。 保密年限：“... 阅读全文

摘要： Java利用httpasyncclient进行异步HTTP请求前段时间有个需求在springmvc mapping的url跳转前完成一个统计的业务。显然需要进行异步的处理，不然出错或者异常会影响到后面的网页跳转。异步的方式也就是非阻塞式的，当异步调用成功与否程序会接着往下执行，不必等到输入输出处理完... 阅读全文

摘要： HttpAsyncClient 做并发长连接的一个实例 import java.util.concurrent.CountDownLatch;import org.apache.http.HttpResponse;import org.apache.http.client.config.Reques... 阅读全文