上一页 1 ··· 48 49 50 51 52 53 54 55 56 ··· 125 下一页
摘要: 配置Scrapy Redis 配置Scrapy Redis非常简单,只需要修改一下settings.py配置文件即可。 1. 核心配置 首先最主要的是,需要将调度器的类和去重的类替换为Scrapy Redis提供的类,在settings.py里面添加如下配置即可 2. Redis连接配置 第一种,直 阅读全文
posted @ 2019-05-29 11:59 公众号python学习开发 阅读(430) 评论(0) 推荐(0)
摘要: 这里以http://bj.maitian.cn/esfall/PG1为例子,然后获取标题。 阅读全文
posted @ 2019-05-29 09:25 公众号python学习开发 阅读(170) 评论(0) 推荐(0)
摘要: 很多新手在开始学一门新的语言的时候,往往会忽视一些不应该忽视的细节,比如变量命名和函数命名以及注释等一些内容的规范性,久而久之养成了一种习惯。对此呢,我特意收集了一些适合所有学习 Python 的人,代码整洁之道。 写出 Pythonic 代码 谈到规范首先想到就是 Python 有名的 PEP8 阅读全文
posted @ 2019-05-25 20:14 公众号python学习开发 阅读(1034) 评论(0) 推荐(0)
摘要: Requests 本身不提供代理池,然而爬数据又要用,所以只能自己搞。其实还挺简单的。我也不知道为什么这么有用的 feature 一直没有被加入。 替换掉 Session 原本的 get 和 post 方法就行了,不会有什么副作用。class Client 并不必需,直接操作 Session 是一样 阅读全文
posted @ 2019-05-25 17:44 公众号python学习开发 阅读(1322) 评论(0) 推荐(0)
摘要: 1. HTTP协议与TCP/IP协议的关系 1. HTTP协议与TCP/IP协议的关系 HTTP的长连接和短连接本质上是TCP长连接和短连接。HTTP属于应用层协议,在传输层使用TCP协议,在网络层使用IP协议。 IP协议主要解决网络路由和寻址问题,TCP协议主要解决如何在IP层之上可靠地传递数据包 阅读全文
posted @ 2019-05-24 20:30 公众号python学习开发 阅读(698) 评论(0) 推荐(0)
摘要: ``` def post(): print("this is post") print("想不到吧") class Http(): @classmethod def get(self): print("this is get") def main(): Http.get=post if __name__ == '__main__': ... 阅读全文
posted @ 2019-05-24 14:59 公众号python学习开发 阅读(367) 评论(0) 推荐(0)
摘要: 协程配合线程 该方法的语法如下: 其实在协程中也可以使用多线程,有时候我们需要在主线程中启动一个子线程去做别的任务,这个时候我们就要用到下面的方法了,先上一个流畅的Python中的代码。 上述的例子,主线程中创建一个new_loop,然后在另外的子线程中开启一个无限事件循环。主线程通过run_cor 阅读全文
posted @ 2019-05-23 20:15 公众号python学习开发 阅读(1401) 评论(0) 推荐(0)
摘要: import asyncio import functools import os import signal """ 信号值 符号 行为 2 SIGINT 进程终端,CTRL+C 9 SIGKILL 强制终端 15 SIGTEM 请求中断 20 SIGTOP 停止(挂起)进程... 阅读全文
posted @ 2019-05-23 20:03 公众号python学习开发 阅读(3358) 评论(0) 推荐(0)
摘要: Event Loops 事件循环 事件 是由程序的一部分在特定条件下发出的消息, 循环 是在某种条件下完成并执行某个程序直到它完成的构造,因此, 事件循环 是一个循环,它允许用户订阅事件传输并注册处理程序/回调。 它使程序能够以异步方式运行。事件循环将它收到的所有事件委托给各自的回调,大多数回调模式 阅读全文
posted @ 2019-05-23 15:41 公众号python学习开发 阅读(691) 评论(0) 推荐(0)
摘要: 如果你曾经写过或者用过 Python,你可能已经习惯了看到 Python 源代码文件;它们的名称以.Py 结尾。你可能还见过另一种类型的文件是 .pyc 结尾的,它们就是 Python “字节码”文件。(在 Python3 的时候这个 .pyc 后缀的文件不太好找了,它在一个名为\__pycache 阅读全文
posted @ 2019-05-19 00:23 公众号python学习开发 阅读(1062) 评论(0) 推荐(1)
上一页 1 ··· 48 49 50 51 52 53 54 55 56 ··· 125 下一页