摘要：以前做过全文检索加网页爬虫，针对的是整个因特网，不过，用的开源的网页抓取工具，hreitrix，研究其源码，但也只是稍微修改了部分源码，以达到业务需要，不过，后面，因为项目停了，这个工作我也就搁置了，后面自己单独写了个类似原理的爬虫，当然，我写的这个简单的很，代码也没有写规范。 现在有个任务，需要将整个湖南省的所有区域写入数据库中，我就将原来的写的一个爬虫工具拿出来，修改了一下，刚... 阅读全文