摘要: 为什么要学习requests,而不是urllib? 1.requests的底层实现就是urllib。 2.requests在python2和python3中通用,方法完全一样。 3.requests简单易用。 4.requests能够自动帮我们解压(gzip压缩等)网页内容。 在写爬虫的过程中,一定 阅读全文
posted @ 2019-01-07 22:12 Master跑跑 阅读(1873) 评论(0) 推荐(0) 编辑
摘要: 通用爬虫与聚焦爬虫: 通用爬虫:搜索引擎用的爬虫系统1)目标:把互联网的网页下载下来,放到本地服务器形成备份,再对这些网页做相关处理(提取关键字,去掉广告),最后提供一个用户检索接口。2)抓取流程:首先选取一部分已有的URL,把这些URL放到待爬取队列。从队列里取出这些URL,然后解析DNS得到主机 阅读全文
posted @ 2019-01-07 14:48 Master跑跑 阅读(250) 评论(0) 推荐(0) 编辑
摘要: 字符串知识点:bytes:二进制(互联网上数据都是以二进制的方式传输的)str:unicode编码的呈现形式,常用的实现方式是UTF-8str转换为bytes的方法:encode()bytes转换为str的方法:decode() HTTP与HTTPS知识点:HTTP:超文本传输协议,默认端口号80, 阅读全文
posted @ 2019-01-06 17:20 Master跑跑 阅读(240) 评论(0) 推荐(0) 编辑
摘要: 今天我们来完成一个小项目《实战爬虫》-爬取熊猫直播平台的数据。 爬虫到底是个怎么回事呢? 爬虫,模拟网页发出抓取数据的请求,也就是一个抓取目标数据的一个过程。 过程: 模拟HTTP请求,向服务器发送这个请求,获取到服务器返回我们的HTML。 用正则表达式提取我们要的数据(名字+人气)。 所以,正则表 阅读全文
posted @ 2018-12-30 19:15 Master跑跑 阅读(230) 评论(0) 推荐(0) 编辑
摘要: 现在我们要了解到一种函数:匿名函数。 ambda只是一个表达式,函数体比def简单很多。 lambda的主体是一个表达式,而不是一个代码块。仅仅能在lambda表达式中封装有限的逻辑进去。 lambda函数拥有自己的命名空间,且不能访问自有参数列表之外或全局命名空间里的参数。 虽然lambda函数看 阅读全文
posted @ 2018-12-26 19:49 Master跑跑 阅读(298) 评论(0) 推荐(0) 编辑
摘要: 现在的你,看完了我的上一篇博客,我相信你已经学会了如何安装软件包以及如何创建骨架项目目录。 现在的我,将教你创建你的第一个网站。 安装的软件包是lpthw.web,这是你要安装的"Web框架"。 在命令符中安装,输入pip install lpthw.web,很显然,在上一篇我给你解释了pip的强大 阅读全文
posted @ 2018-12-18 22:52 Master跑跑 阅读(318) 评论(0) 推荐(0) 编辑
摘要: 现在,我们可以说是已经入门python的新手程序员了。 我们将学会如何去做一个项目,配置项目骨架,安装必备的软件包,自动测试等让项目跑起来所必备的技能。 这个过程注定是无聊的,每个程序员都会经历这条路,因为前期工作准备好了才能进一步写项目代码。 ①创建项目骨架目录: 我将给出一个模板出来: 首先,我 阅读全文
posted @ 2018-12-18 16:32 Master跑跑 阅读(491) 评论(0) 推荐(0) 编辑
摘要: 在阅读本文之前,你只需要记住我这一句: 大部分使用继承的场合后可以用合成来取代,而多重继承则需要不惜一切地避免之。 首先我详细介绍一下继承的概念: ''' 什么是继承? 继承就是用来指明一个类的大部分或全部功能都是从一个父类中获得的。 比如class Foo(Bar):创建一个叫Foo的类,并让它继 阅读全文
posted @ 2018-12-14 20:59 Master跑跑 阅读(385) 评论(0) 推荐(0) 编辑
摘要: 首先,先放上编写这款游戏的指导方针: 自顶向下:从很抽象的概念入手,逐渐细化,直到概念变成具体的可用代码实现的东西。 ''' 游戏名字叫《来自Percal25号行星的哥顿人》,是一款空间冒险游戏。 游戏内容:外星人入侵了宇宙飞船,我们的英雄需要通过各种房间组成的迷宫, 打败遇到的外星人,这样才能通过 阅读全文
posted @ 2018-12-13 22:34 Master跑跑 阅读(1150) 评论(0) 推荐(0) 编辑
摘要: 很显然,在学习类与对象之前,我们得知道一些面向对象术语。 ''' 类(class):告诉Python创建新类型的东西。 对象(object):两个意思,即最基本的东西,或者某个东西的实例,不唯一,可以self等 实例(instance):这是让Python创建一个类时得到的东西。 def:这是在类里 阅读全文
posted @ 2018-12-11 22:58 Master跑跑 阅读(788) 评论(0) 推荐(0) 编辑