会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
Tony_xiao
博客园
首页
新随笔
联系
管理
订阅
上一页
1
···
11
12
13
14
15
16
17
18
19
···
22
下一页
2023年4月30日
mongoDB基本使用
摘要: 一:简介 MongoDB是一个非关系型数据库(NoSQL). 非常适合超大数据集的存储, 由 C++ 语言编写,旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。 二:MongoDB安
阅读全文
posted @ 2023-04-30 22:15 Tony_xiao
阅读(41)
评论(0)
推荐(0)
2023年4月6日
M3U8流视频数据爬虫
摘要: HLS技术介绍 现在大部分视频客户端都采用HTTP Live Streaming,而不是直接播放MP4等视频文件(HLS,Apple为了提高流播效率开发的技术)。HLS技术的特点是将流媒体切分为若干【TS片段】(比如几秒一段),然后通过一个【M3U8列表文件】将这些TS片段批量下载供客户端播放器实现
阅读全文
posted @ 2023-04-06 22:14 Tony_xiao
阅读(722)
评论(0)
推荐(0)
2023年2月17日
协程
摘要: 引入:无论多线程还是多进程其实没有解决一个性能相关的问题,IO阻塞,无论是多进程还是多线程,在遇到IO阻塞时都会被操作系统强行剥夺走CPU的执行权限(使得cup执行其他操作,其他操作可能是我们程序的其他部分,也可能是其他的应用程序),我们自己程序的执行效率因此就降低了下来。 在python3.5之后
阅读全文
posted @ 2023-02-17 23:10 Tony_xiao
阅读(56)
评论(0)
推荐(0)
2023年1月19日
进程+线程+队列爬取斗图网
摘要: 需求:爬取斗图网数据 首先我们使用线程的方式,爬取前4页数据 准备工作 图片链接存在页面源代码中 但是,界面使用了懒加载技术,真正的url在data-original中 import requests from lxml import etree from concurrent.futures im
阅读全文
posted @ 2023-01-19 22:57 Tony_xiao
阅读(124)
评论(0)
推荐(0)
2023年1月18日
线程池处理爬虫电影票房排行榜
摘要: 需求:爬取1996-2023年电影票房排行榜 首先,我们先爬取一年的数据,然后通过循环,逐一爬取每一年的数据。通过测试,话费时间32秒,代码如下: import requests from lxml import etree import time #处理数据,电影排行末尾 有的有空行,有的没有 d
阅读全文
posted @ 2023-01-18 23:18 Tony_xiao
阅读(165)
评论(0)
推荐(0)
2023年1月14日
【python】re模块
摘要: 定义:re模块称为正则表达式; 作用:创建一个"规则表达式",用于验证和查找符合规则的文本,广泛用于各种搜索引擎、账户密码的验证等; 预定义字符 \d 匹配所有的十进制数字 0-9 \D 匹配所有的非数字,包含下划线 \s 匹配所有空白字符(空格、TAB等) \S 匹配所有非空白字符,包含下划线 \
阅读全文
posted @ 2023-01-14 23:09 Tony_xiao
阅读(65)
评论(0)
推荐(0)
2022年10月29日
【python】多层级装饰器与类装饰器
摘要: 当一个功能函数,我们添加了多个额外功能时,这是我们就要使用多层装饰器;多层装饰器使用时是按就就近原则 def makebold(fn): print('加载makebold') def wrapper(): print('执行makebold中wrapper函数') return "<b>" + f
阅读全文
posted @ 2022-10-29 15:28 Tony_xiao
阅读(81)
评论(0)
推荐(0)
2022年10月28日
【python】装饰器参数
摘要: 装饰器是AOP编程思想,给主体函数增加功能,又不让代码入侵到主体函数中,实现高内聚,低耦合。 参数有两种,一种是功能函数带参数、另外一种是装饰器函数带参数,如果装饰功能部分代码也需要参数的话,可以在原来的两层函数外面再加一层,专门用来接收参数。 下面我们通过两个小例子来学习 #功能函数带参数; #实
阅读全文
posted @ 2022-10-28 21:34 Tony_xiao
阅读(265)
评论(0)
推荐(0)
2022年10月24日
【python】装饰器基础
摘要: 什么是装饰器? 装饰器本质上是一个函数,该函数用来处理其他函数,它可以让其他函数在不需要修改代码的前提下增加额外的功能,装饰器的返回值也是一个函数对象。它经常用于有切面需求的场景,比如:插入日志、性能测试、事务处理、缓存、权限校验等应用场景。装饰器是解决这类问题的绝佳设计,有了装饰器,我们就可以抽离
阅读全文
posted @ 2022-10-24 22:27 Tony_xiao
阅读(35)
评论(0)
推荐(0)
2022年10月22日
【python】高阶函数
摘要: 什么是高阶函数? 只要满足下面的任意一个条件就是高阶函数 1、一个函数的函数名作为参数传给另外一个函数 2、一个函数返回值(return)为另外一个函数(返回为自己,则为递归) #示例1: def f(n): return n**2 def foo(a,b,func): ret = func(a)
阅读全文
posted @ 2022-10-22 16:45 Tony_xiao
阅读(32)
评论(0)
推荐(0)
上一页
1
···
11
12
13
14
15
16
17
18
19
···
22
下一页
公告