随笔分类 - A1-1-python
摘要：前言 进程和线程，有很多地方非常类似，包括使用的方法也很多相同的， 所以我决定放到一起对比学习， 这一篇，专门对比： 进程池 线程池 # 进程池 ## 为什么会有进程池? - 1，因为每次开启一个进程，都需要创建一个内存空间，这是耗时的 - 2，进程过多，操作调度也会耗时， - 所以会有非常大的性能
阅读全文
摘要：前言 进程和线程，有很多地方非常类似，包括使用的方法也很多相同的， 所以我决定放到一起对比学习， 这一篇，专门对比： 进程的信号量 线程的信号量 # 多进程的信号量 ## 进程池和信号量有什么关系？ - 使用了信号量，并没有改变进程的个数， - 比如有200个任务， - 依然200个进程在排队，只是
阅读全文
摘要：# socket 什么是socket？简述基于tcp协议的套接字通信流程。 socket就是套接字， Socket是应用层与TCP/IP协议族通信的中间软件抽象层，socket位于应用层和传输层之间，也就是说我们不直接和tcp协议和udp协议打交道，这些握手挥手都是socket承包了 socket是
阅读全文
摘要：记录日志是我们程序中必不可少的一个功能，但是日志文件如果没有合理的管理，时间长了几百兆的日志文件就很难分析了（都不想打开看），但是又不可能经常手动去管理它 日志轮转：根据时间或者文件大小控制日志的文件个数，不用我们手动管理 python中logging模块内置的有几个支持日志轮转的handler 常
阅读全文
摘要：# pip安装包 pip install 包名 # pip升级包 pip install --upgrade 要升级的包名 # pip 卸载包 pip uninstall 包名 # Windows配置pip镜像 新建如下路径 C:\Users\Administrator\pip 在pip文件夹中新建
阅读全文
摘要：1，首先python执行以下，是不是安装python了， 如果执行不通，就先安装以下python 安装的时候，官网下载安装包，注意安装的时候自定义安装，可以直接自动添加环境变量， 2，配置虚拟环境 pip install -i https://pypi.douban.com/simple virtu
阅读全文
摘要：subprocess介绍 需要用到Python来执行shell脚本, 因此需要查看下subprocess模块文档。 根据官网文档描述：subprocess模块用于创建子进程， 这个模块用于替换旧版本中的一些模块， 如：os.system, os.spawn*, os.popen*, os.popen
阅读全文
摘要：一、说明 python中最早看到yield应该是使用scrapy框架写爬虫的时候，之前也有去看yiled的用法，总记不太住。今天又去看了一下，基本上来就是讲些斐波那契数列的烦的要死 二、return和yield的异同 共同点：return和yield都用来返回值；在一次性地返回所有值场景中retur
阅读全文
摘要：一、介绍 定义了url的标准接口，实现url的各种抽取 parse模块的作用：url的解析，合并，编码，解码 二、代码 方法一：urlparse 实现url的识别和分段 from urllib import parse url = 'https://www.cnblogs.com/angelyan/
阅读全文
摘要：# 并发的发展历史：为什么会产生多进程，多线程，协程 - 目的就是为了并发，并发是为了性能，效率，这一点要提高到最核心最基础的认识里面， - 举例：比如一个6层楼，要找一个人，如果1个人搜索就要6层依次搜寻，如果6个人就是6倍的效率提高 为什么会有进程？ 其实，在早期计算机并没有包含操作系统，这个时
阅读全文
摘要：许多教程使用的是pip freeze > requirements.txt指令，但是这个指令只能检索当前虚拟环境中安装的包。要想自动检索项目文件中的依赖包要使用pipreqs， 使用方法如下: 1.首先安装pipreqs, pip install pipreqs 2.执行pipreqs ./ --f
阅读全文
摘要：``` # 我觉得要学习还是要看源码, # 死记硬背是没有意义的， # 什么情况下会出现跳转到python_stubs？ # 当我们调用的函数是内置函数或仅二进制存在的函数(没有py文件，只有pyc等)时，pycharm会对某个版本进行硬编码而生成的伪函数（实际不是调用的这个，只是方便我们做开发）。
阅读全文
摘要：# time模块 time模块是一个内置模块，非常的重要，非常的常用， ``` time模块的方法列表： altzone asctime ctime daylight get_clock_info gmtime localtime，返回的是结构化时间，struct_time，有一个参数，秒时间戳，如
阅读全文
摘要：### 官方文档：https://docs.python.org/zh-cn/3/library/urllib.request.html#module-urllib.request # urllib模块介绍： 一共是四块， urllib.request - 打开和读取 URL。 urllib.err
阅读全文
摘要：### # 序列化是什么？ 现在的序列化都是转向一个字符串数据类型， 我们说的序列就是字符串， # 为什么要千方百计的转换成为字符串呢？ 是为了存储和传递 如果一个字典{"k":"v"}为什么要转成字符串 1，我往文件或者数据库里面写内容的时候是不能写入字典的，可以写入字符串， 2，还有在网络上传输
阅读全文
摘要：#### 统计几千个csv文件的行数，并统计 使用单线程完成 使用进程完成 使用线程完成 使用协程完成 #### 检索几千个文件，查询里面包含XXX字段的行， 使用单线程完成 使用进程完成 使用线程完成 使用协程完成 ### 抓取邮箱，并且存储起来， 递归的使用， 定时器的使用，定时把队列清空，写入
阅读全文
摘要：### 使用内置函数help，查看帮助文档的时候，如何自由的操作帮助文档 #### 第一个问题，帮助文档怎么查看， 进入ipython解释器，使用help(命令)就可以了 查看某一个命令，help(str) 查看某一个函数的方法，help(str.split) 第二个问题，帮助文档很长怎么操作 按q
阅读全文
摘要：#### 安装与使用 安装与使用 install pip install aiohttp 简单实例使用 aiohttp的自我介绍中就包含了客户端和服务器端，所以我们分别来看下客户端和服务器端的简单实例代码。 客户端： import aiohttp import asyncio async def f
阅读全文
摘要：# 前言 先看这个文章： python进程，线程，协程，对比，思考： https://www.cnblogs.com/andy0816/p/15590085.html # 协程 进程和线程是计算机提供的，协程是程序员创造的，不存在于计算机中。 协程也可称为微线程，一种用户态的上下文切换技术（通过一个
阅读全文
浙公网安备 33010602011771号