2019年4月17日
beautiful soup
摘要： Beautiful Soup 简介 Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.你可能在寻找 Beautiful Soup3 阅读全文
posted @ 2019-04-17 15:00 kongpan 阅读(305) 评论(0) 推荐(0) 编辑
scrapy框架
摘要： 简介 ​ Scrapy一个开源和协作的框架，其最初是为了页面抓取所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Se 阅读全文
posted @ 2019-04-17 15:00 kongpan 阅读(190) 评论(0) 推荐(0) 编辑
selenium
摘要： selenium介绍： selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种常见的浏览器 官网： 阅读全文
posted @ 2019-04-17 14:59 kongpan 阅读(177) 评论(0) 推荐(0) 编辑