摘要： 1、robots.txt协议：明确指定哪些爬虫可以爬取哪些数据 2、http协议：客户端与服务器间进行数据交互的形式,简单的请求-响应协议 请求头信息： User-Agent:表示请求载体的身份标识 Connection：请求完毕后是断开（close）或保持连接（keep-alive） 相应头信息 阅读全文

摘要： 1、页面垂直滚动条向下至底部js = "window.scrollTo(0,10000)"Driver.execute_script(js) 2、页面垂直滚动条向右至最右边js = "window.scrollTo(10000,0)"Driver.execute_script(js)3、 div下无 阅读全文

摘要： 1. 支持excel格式 xlsx xlsm xltx xltm 2. 基本用法 首先介绍下Excel的一些基本概念，Workbook相当于是一个文件,WorkSheet就是文件里面的每个具体的表,比如新建Excel文件里面的'Sheet1'这个,一个Workbook里面有一个或多个WorkShee 阅读全文

摘要： 1、re匹配的语法 re.math 从头开始匹配，没有匹配到返回None re.seach 匹配包含，，没有匹配到返回None re.findall 把所有匹配到的字符，以列表的形式返回，没有匹配到返回空列表[] re.splitall 以匹配到的字符当做列表分隔符 re.sub 匹配字符并替换 r 阅读全文

摘要： 一、readline函数 按行遍历读取文件的方法，通过这个方法，readline() 每次只读取一行，通常比 .readlines() 慢得多。仅当没有足够内存可以一次读取整个文件时，才应该使用 .readline() 二、readlines() readlines() 自动将文件内容分析成一个行的 阅读全文

摘要： 1、 日志的等级 DEBUG、INFO、NOTICE、WARNING、ERROR、CRITICAL、ALERT、EMERGENCY 2、logging模块定义的模块级别的常用函数 logging.basicConfig(**kwargs)函数用于指定“要记录的日志级别”、“日志格式”、“日志输出位置 阅读全文

摘要： python中用来读取配置文件，配置文件的格式相同于windows下的ini配置文件 一、常用函数 举例如下： 配置文件ini如下： 代码如下： 综合使用方法： 二、设置某个option 的值 三、添加一个section 四、 . 移除section 或者option 。（只要进行了修改就要写回的哦 阅读全文