2016年4月29日
python写的爬虫工具，抓取行政村的信息并写入到hbase里
摘要： python的版本是2.7.10，使用了两个第三方模块bs4和happybase，可以通过pip直接安装。 1.logger利用python自带的logging模块配置了一个简单的日志输出 2.getHtml利用自带的urllib2模块获得网站html的内容。另外urllib2还可以配置代理的，后期 阅读全文
posted @ 2016-04-29 14:07 七块五 阅读(793) 评论(0) 推荐(0)