2019年2月27日
请求headers处理
摘要： 有时在请求一个网页内容时，发现无论通过GET或者是POST以及其他请求方式，都会出现403错误。这种现象多数是由于服务器拒绝了您的访问，那是因为这些网页为了防止恶意采集信息，所使用的反爬虫设置。此时可通过模拟浏览器头部信息来进行访问，这样就解决了以上反爬虫设置的问题。下面以requests模块为例介 阅读全文
posted @ 2019-02-27 10:05 余火灬 阅读(395) 评论(0) 推荐(0) 编辑
requests模块
摘要： requests是python中实现http请求的一种方式，requests是第三方模块，该模块在实现http请求时要比urllib模块简化很多，操作更加人性化。特性如下： Keep-Alive&连接池 Unicode响应体 国际化域名和URL HTTP(S)代理支持 带持久Cookie的会话 文件 阅读全文
posted @ 2019-02-27 09:26 余火灬 阅读(132) 评论(0) 推荐(0) 编辑
urllib3
摘要： urllib3是一个功能强大、条理清晰、用于http客户端的python库，相对于urllib它所有的特点如下： 线程安全 连接池 客户端SSL/TLS验证 使用多部分编码上传文件 Helpers用于重试请求并处理HTTP重定向 支持gzip和deflate编码 支持HTTP和SOCKS代理 100 阅读全文
posted @ 2019-02-27 08:49 余火灬 阅读(514) 评论(0) 推荐(0) 编辑
2019年2月22日
urllib
摘要： 什么是urllib Urllib是python内置的HTTP请求库包括以下模块urllib.request 请求模块urllib.error 异常处理模块urllib.parse url解析模块urllib.robotparser robots.txt解析模块 urlopen 关于urllib.re 阅读全文
posted @ 2019-02-22 11:43 余火灬 阅读(148) 评论(0) 推荐(0) 编辑
2019年2月20日
正则表达式
摘要： 一、高效文本处理1 1、提取所有 11 位数字电话号码 \d{11} 1、提取所有 11 位数字电话号码 \d{11} \d{11} \d{11} 2、提取所有 18 或 13 开头的电话号码 (18|13)\d{9} #我不明白这里为什么是9而不是10 2、提取所有 18 或 13 开头的电话号码 阅读全文
posted @ 2019-02-20 09:27 余火灬 阅读(332) 评论(0) 推荐(0) 编辑
2019年2月18日
百度AI搜索引擎
摘要： 一、爬虫协议 与其它爬虫不同，全站爬虫意图爬取网站所有页面，由于爬虫对网页的爬取速度比人工浏览快几百倍，对网站服务器来说压力山大，很容易造成网站崩溃。 为了避免双输的场面，大家约定，如果网站建设者不愿意爬虫访问某些页面，他就按照约定的格式，把这些页面添加到 robots.txt 文件中，爬虫应该主动 阅读全文
posted @ 2019-02-18 16:53 余火灬 阅读(583) 评论(0) 推荐(0) 编辑
2019年2月13日
CSS层叠样式表--使用
摘要： 一、颜色属性 二、字体属性三、背景属性四、文本属性五、边框属性六、列表属性七、display属性八、内外边距九、float属性十、定位 十一、margin定位 一、颜色属性 （1）英文单词 （2）十六进制数 （3）三原色 （4）三原色+透明度。透明度为0到1,0完全透明，1完全不透明 二、字体属性 阅读全文
posted @ 2019-02-13 20:15 余火灬 阅读(384) 评论(0) 推荐(0) 编辑
学习requests_html
摘要： 一、获取页面上的所有链接。 二、获取页面上的所有标题及其链接 三、通过css选择器选取一个Element对象 四、获取一个Element对象内的文本内容 五、获取一个Element对象的所有属性attributes 六、渲染出一个Element对象的HTML内容 阅读全文
posted @ 2019-02-13 15:09 余火灬 阅读(216) 评论(0) 推荐(0) 编辑
聚合新闻头条
摘要： 一、确定新闻来源 二、有头条新闻的提取头条新闻 三、定时 每两分钟执行一次 在 2019-01-01 09:30:00 2019-02-01 11:00:00 的时间范围内，每 2 小时执行一次 my_print： 在 2019-01-01 09:30:00 执行一次 my_print： 每个整点执 阅读全文
posted @ 2019-02-13 11:39 余火灬 阅读(381) 评论(0) 推荐(0) 编辑
2019年2月12日
爬虫工程师的月薪如何？
摘要： 链接分析 1、不同的搜索关键字 的搜索链接分析： 搜索python工程师：https://sou.zhaopin.com/?jl=538&kw=python工程师&kt=3 搜索java工程师：https://sou.zhaopin.com/?jl=538&kw=java工程师&kt=3 对比结果： 阅读全文
posted @ 2019-02-12 15:55 余火灬 阅读(990) 评论(0) 推荐(0) 编辑