随笔分类 -  爬虫框架

摘要:日志相关 一、日志相关变量 二、日志级别 5 CRITICAL :严重错误 4 ERROR :普通错误 3 WARNING :警告 2 INFO :一般信息 1 DEBUG :调试信息 注意: 只显示当前级别的日志和比当前级别日志更严重的 三、其他导出 设置数据导出编码(主要针对于json文件) 4 阅读全文
posted @ 2019-09-21 10:16 ChanceySolo 阅读(600) 评论(0) 推荐(2) 编辑
摘要:Scrapy 异步处理框架,可配置和可扩展程度非1 常高,Python中使用最广泛的爬虫框架 安装: Ubuntu安装 1、安装依赖包 sudo apt get install libffi dev libssl dev libxml2 dev python3 dev libxslt1 dev zl 阅读全文
posted @ 2019-09-20 08:47 ChanceySolo 阅读(239) 评论(0) 推荐(0) 编辑
摘要:Selenium 一、概述 Web自动化测试工具,可以运行在浏览器,根据指令操作浏览器 只是工具,必须与第三方浏览器结合使用 安装: Linux: Windows: phantomjs浏览器 定义:无界面浏览器(又称无头浏览器),在内存中进行页面加载,高效 安装(phantomjs、chromedr 阅读全文
posted @ 2019-09-18 10:35 ChanceySolo 阅读(212) 评论(0) 推荐(0) 编辑