随笔分类 - python学习
摘要：https://www.lagou.com/jobs/list_python?labelWords=sug&fromSearch=true&suginput=py https://www.lagou.com/jobs/list_python?city=%E5%85%A8%E5%9B%BD&cl=fa
阅读全文
摘要：第一节课： 一：根据page页面解析出book_url 二： 解析来的response (book_url) 并不是交给parse_item方法，而是交给了上面的rules处理,然后通过LinkExtractor提取静态页面数据url,url形成一个新的请求交给引擎，引擎一顿操作给到callback
阅读全文
摘要：第一节：豆瓣电影信息的爬取 1.分析源码 page页面：https://www.douban.com/doulist/3936288/ 关键源码截图： 外部div: <div class="bd doulist-subject"> <div class="doulist-video-items">
阅读全文
摘要：一、简介 scrapy的优势： 1、为了更利于我们将精力集中在请求与解析上 2、企业级的要求，效率高 二、模块安装 scrapy支持Python2.7和python3.4以上版本 1.在https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的Twisted的
阅读全文
摘要：第一部分：实现方法 通过requests+xpath实现豆瓣电影top250一些信息的爬取 第二部分：思路、分析过程 1.浏览器输入豆瓣电影top250 2.打开主页面，显示有20条电影信息数据 page_url=https://m.baidu.com/sf?pd=topone_multi&top=
阅读全文
摘要：第一部分：简介 原理跟soup一样，都是把html字符串转换成标签对象,像选择路径一样选择标签。 第二部分：代码块 1：公共代码部分 from lxml import etree # 导包 <html> <head> <title>爬虫</title> <meta charset="utf-8">
阅读全文
摘要：一：简介 1.BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库，它的使用方式相对于正则来说更加的简单方便，常常能够节省我们大量的时间。 2.BeautifulSoup的安装也是非常方便的，pip安装即可。 pip install beautifulsoup4 3
阅读全文
摘要：一：序言 selenium 是一个web自动化工具 1.自动化测试 通过它，我们可以写出自动化程序，模拟浏览器里操作web界面。 比如点击界面按钮，在文本框中输入文字 等操作。 2.获取信息(就是爬虫) 而且还能从web界面获取信息。 比如招聘网站职位信息，财经网站股票价格信息 等等，然后用程序进行
阅读全文
摘要：第一部分：函数基础 函数的作用意义： 1.为了更好地管理代码，可能对应的代码块需要重复多次使用，所以通过一个函数封装起来，便于下次直接调用 2.方法实际上是通过函数实现的 例1： # type() # 内置函数 def lis(): li=[1,2,3] li.append(4) li.pop(2)
阅读全文
摘要：第一部分：条件判断 if 条件1: #父级 满足条件1的时候所执行的代码 # 子级 a=90 # 转换成bool类型 print(a==6) # 当满足条件的时候执行当前子级结束以下所有分支语句 记住这句话 if a>80: # 满足条件的情况下才去执行以下代码 声明条件 print('恭喜你,考了
阅读全文
摘要：第一部分：正则表达式 概念 一个函数： re.findall(pattern, string) 一些元字符： . * ? + [] () \ ^ $ 通过 () 来改变 findall 的行为 例1： 判断一个手机号码（长度、开头数字为1、只能是数字） import re a=12345678901
阅读全文
摘要：第一部分：迭代器 例1. for....in 运行机制 li=[1,2,3,4] # 在列表中取值从第一个取到最后一个结束 # for i in li: # print(i) # 1,2,3,4 i=0 while i < len(li): # 索引 # print(i) # 输出索引 0,1,2,
阅读全文
摘要：第一部分：异常及异常处理 思考： 1.什么是异常？ python中有哪些异常？ 》异常本身是类 print(a) # NameError: name 'a' is not defined 错误类型 NameError print(3+'a') # TypeError: unsupported ope
阅读全文
摘要：一：打开、关闭文件 1.打开文件：f=open('文件路径','模式')2.操作：写入、读取、修改 》模式3.关闭：f.close() 》释放内存空间 例1：读取文件 # 1.打开文件f=open('file01.txt','r') # 文件对象 # mode='r'(默认模式为r) 》如果是r+表
阅读全文
摘要：一、解决方案 通过装饰器实现二、相关知识点 isinstance()函数 1. isinstance()函数是python中的一个内置函数，作用：判断一个函数是否是一个已知类型，类似type()。 2. 语法：isinstance ( object , classinfo ) 参数： object：
阅读全文
摘要：第一部分：__new__方法 思考： a. 我们创建实例是通过什么方法创建的呢？ b. 类每次实例化的时候都会创建一个新的对象，如果要求类只能被实例化一次该怎么做呢？ 通过单利模式实现 c.什么是单例模式(Singleton Pattern ) 1、确保一个类只有一个实例，而且自行实例化并向整个系统
阅读全文
摘要：一、继承:简化代码避免重复 继承的意思相当于把父类中可以使用的方法写在自己类中一个性质 例1：创建一个人类，分男人类与女人类 属性：姓名、年龄 方法：吃、走 》公共特征 男：方法==》上班 女：方法==》洗衣服 class People: # 父类,可以理解为一个较为抽象的类，具体细分由下面的子类完
阅读全文
摘要：思路：'''1.定义矩形类2.定义属性 属性分：类属性和实例属性实例属性==》self.属性 》self是一个参数在一个方法中==》_init_方法 3.定义方法 def Area（self）： s=self.length*self.width ''' class Square: def __ini
阅读全文
摘要：一：前言：为什么要学类？ 类 是一个独立存放变量(属性/方法)的空间 1.简化代码，提升效率，避免代码重复写入。如用户注册、校验、登录方法可以放在一个类中，需要哪个方法就调用哪个 类 》建立模型框架（建立一个方法） 》很多鼠标（实例化） 》都是独立的 2.面向对象：直接给我们结果例1. 列表的方法
阅读全文
摘要：知识点： zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表 li=[3,4,5] t=(7,8,9) print(list(zip(li,t))) print(dict(zip(li,t))) 运行截图： 例1： def f(a,b): p
阅读全文
浙公网安备 33010602011771号