12 2017 档案

pyquery库的使用
摘要：pyquery标签选择 获取了所有的img标签（css选择器，你也可以换成不同的class和id） 1 import requests 2 import re 3 from pyquery import PyQuery as pq 4 headers={ 5 "Accept": "text/html 阅读全文
posted @ 2017-12-27 19:28 月河 阅读(723) 评论(0) 推荐(0)
beautifulsoup的一些使用
摘要：自动补全代码： 查找标签 获取名称 获取属性 获取内容 嵌套选择 子节点 或者 子孙节点 获取父节点 获取祖先节点 获取兄弟节点 前面的兄弟节点 标准选择器find_all(name,attrs,recursive,**kwargs) name attrs CSS选择器 获取css属性 获取内容 l 阅读全文
posted @ 2017-12-27 15:07 月河 阅读(187) 评论(0) 推荐(0)
requests（爬虫常用）库的使用
摘要：Requests库的使用 基于urllib改写的库 示例： 带参数的get请求 将返回的结果变为json格式 获取二进制数据 1 import requests 2 response=requests.get('https://weibo.com/favicon.ico') 3 print(resp 阅读全文
posted @ 2017-12-27 14:45 月河 阅读(400) 评论(0) 推荐(0)
urllib(最基本的)库的应用
摘要：Urllib库 python内置的http请求库 1、urllib.request 请求模块 2、urllib.error 异常处理模块(try,catch) 3、urllib.parse url解析模块 4、urllib.robotparser robots.txr解析模块 urlopen get 阅读全文
posted @ 2017-12-25 19:13 月河 阅读(279) 评论(0) 推荐(0)
爬虫常用库的安装
摘要：urllib 库 urllib.request库 re库 以上三个基本上python3内置 剩下的用第三方pip安装 1、pip install requsets 返回响应status 2、pip install selenium（驱动浏览器、自动化测试） 大多数网页存在js渲染，普通request 阅读全文
posted @ 2017-12-25 14:30 月河 阅读(307) 评论(0) 推荐(0)
django_session
摘要：基于cookie做用户验证时：敏感信息不适合放在cookie中 session依赖cookie session原理 cookie是保存在用户浏览器端的键值对 session是保存在服务器端的键值对 session服务端中存在的数据为： session客户端即客户端的浏览器的cookie中存的数据是当 阅读全文
posted @ 2017-12-12 16:12 月河 阅读(127) 评论(0) 推荐(0)