2015年7月20日
抓取网贷之家的数据爬虫
摘要： 最近在做ETL的项目，其中肯定要有数据，才能在各个工具之间抽取、转存、加载。按照天亮爬虫项目上的讲解，对网易之家的贷款机构进行了抓取。大致模块分为四部分：抓取模块、实体类、工具类、控制类。现在把相关的代码大致记录一遍，以防遗忘。首先定义一个定义两个工具类，第一个工具类负责将将后期抓取的数据写入到一个... 阅读全文
posted @ 2015-07-20 15:16 白开水加糖 阅读(2831) 评论(4) 推荐(0)