2019年3月5日
scrapy基础
摘要： from qiubaiPro.items import QiubaiproItem class QiubaiSpider(scrapy.Spider): name = 'qiubai' # allowed_domains = ['www.qiushibaike.com/text'] start_urls = ['https://www.qiushibaike.com/te... 阅读全文
posted @ 2019-03-05 19:48 一把西瓜刀 阅读(154) 评论(0) 推荐(0)
selenium&phantomJs相关
摘要： 问题：处理页面动态加载数据的爬取 selenium: 三方库，可以实现让浏览器完成自动化操作 - 环境搭建 1 安装： pip install selenium 2 获取浏览器的驱动程序 下载地址：http://chromedriver.storage.googleapis.com/index.ht 阅读全文
posted @ 2019-03-05 17:59 一把西瓜刀 阅读(262) 评论(0) 推荐(0)
三种数据解析方式
摘要： 数据解析： xpath在爬虫中的使用流程 常用的xpath表达式： tip ： //双斜杠是相对路径，指的是当前页面的所有，比如//a 获取所有的a标签 ，/单斜杠是绝对路径，指的是直系子标签 属性定位： #找到class属性值为song的div标签 //div[@class="song"] 层级& 阅读全文
posted @ 2019-03-05 17:56 一把西瓜刀 阅读(439) 评论(0) 推荐(0)
requests模块相关用法
摘要： requests模块 基于requests模块发起get请求 requests模块如何处理带参数的get请求（两种方式） 需求：指定一个词条，获取搜狗搜索结果对应的页面数据 #方式1 import requests url = 'http://www.sogou.com/web?query=金角大王 阅读全文
posted @ 2019-03-05 16:42 一把西瓜刀 阅读(437) 评论(0) 推荐(0)
urllib模块基本用法
摘要： urllib 反爬机制：网站检查请求的UA，如果发现UA是爬虫程序，则拒绝提供网站数据 User-Agent(UA):请求载体的身份标识。 反反爬机制：伪装爬虫程序的请求UA import urllib.request url = 'http://www.baidu.com/' #UA伪装 #1 自 阅读全文
posted @ 2019-03-05 16:31 一把西瓜刀 阅读(1435) 评论(0) 推荐(0)
2019年3月4日
django复习题
摘要： 目录 转载自https://www.cnblogs.com/wenyule/p/699aa722eb4f9b16acf554df2337ec6f.html#_label6 仅供个人复习使用，侵删 1 列举Http请求中常见的请求方式 2 谈谈你对HTTP协议的认识。1.1 长连接 3 简述MVC模式 阅读全文
posted @ 2019-03-04 18:24 一把西瓜刀 阅读(748) 评论(0) 推荐(0)
scrapy框架编写向redis数据库中存储数据的相关代码时报错解决办法
摘要： 错误信息：redis.exceptions.DataError: Invalid input of type: 'dict'. Convert to a byte, string or number first. 解决办法：python中redis包更新导致的问题，变更了srem方法的输入。使用旧版 阅读全文
posted @ 2019-03-04 12:31 一把西瓜刀 阅读(692) 评论(0) 推荐(0)
2018年12月13日
并发编程练习题
摘要： 1、简述计算机操作系统中的“中断”的作用？ 当遇到IO操作时或一个进程运行时间过长或被更高的优先级的进程替代时出现中断，保留此时的状态，转而执行其他的操作。 待处理完毕后又返回原来被中断处继续执行或调度新的进程执行的过程。有利于合理利用有限的系统资源，提高程序运行效率。 2、简述计算机内存中的“内核 阅读全文
posted @ 2018-12-13 09:44 一把西瓜刀 阅读(283) 评论(0) 推荐(0)
2018年12月1日
网络编程 socket 开发练习题
摘要： 1 什么是C/S架构 c指的是client（客户端软件），S指的是Server（服务端软件），C/S架构的软件，实现服务端软件与客户端软件基于网络通信 2 互联网协议是什么？分别介绍五层协议中每一层的功能 互联网协议就是计算机界的通讯标准 物理层功能：主要是基于电器特性发送高低电压(电信号)，高电压 阅读全文
posted @ 2018-12-01 20:47 一把西瓜刀 阅读(1605) 评论(0) 推荐(0)
2018年11月22日
面向对象编程设计练习题(2)
摘要： 11.请简单解释Python中 staticmethod（静态方法）和 classmethod（类方法）, 并分别补充代码执行下列方法 staticmethod（静态方法）：又称为非绑定方法，不与类和对象绑定，就是一个普通方法，不会自动传值。 classmethod(类方法)：是绑定到类的方法，自动 阅读全文
posted @ 2018-11-22 16:26 一把西瓜刀 阅读(528) 评论(0) 推荐(0)
下一页