摘要: 一、HTML Hyper Text Markup Language ,译作超文本标记语言,是一门标记语言,不是编程语言。所以它没有变量,也没有任何语句结构。 所谓的超文本,就是超越了文本范畴的文档格式,普通文本只能显示文字,而超文本可以显示各种的媒体资源,例如:html网页,doc文档,xls文档等 阅读全文
posted @ 2023-03-16 13:26 Chimengmeng 阅读(27) 评论(0) 推荐(0)
摘要: 软件架构体系: (1)、C/S: client/Server 客户端/服务端 QQ, 酷狗, 爱奇艺, 王者荣耀等3D游戏 (2)、B/S: browser/Server 浏览器/服务端 百度/淘宝/京东/网页版的爱奇艺/基于web前端技术实现的一些手机APP[例如:百度地图、喜马拉雅、消消乐、斗地 阅读全文
posted @ 2023-03-16 13:24 Chimengmeng 阅读(55) 评论(0) 推荐(0)
摘要: 线程案例:爬取斗图吧表情包图片 方案一:单线程版本 耗时慢 import requests from fake_useragent import UserAgent import random from lxml import etree import os import time # 伪装UA f 阅读全文
posted @ 2023-03-15 13:00 Chimengmeng 阅读(51) 评论(0) 推荐(0)
摘要: 并发爬虫三、多进程实现 由于GIL的存在,python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。 multiprocessing包是Python中的多进程管理包。 与threading.Thread类似,它可以利用multipro 阅读全文
posted @ 2023-03-15 12:52 Chimengmeng 阅读(18) 评论(0) 推荐(0)
摘要: 并发爬虫二、多线程实现 【1】threading模块 Python提供两个模块进行多线程的操作,分别是thread和threading,前者是比较低级的模块,用于更底层的操作,一般应用级别的开发不常用。 import time def foo(): print("foo start...") tim 阅读全文
posted @ 2023-03-15 12:51 Chimengmeng 阅读(43) 评论(0) 推荐(0)
摘要: 并发爬虫一、进程、线程以及协程 1. 并发与并行 2. IO密集型任务和计算密集型任务 3. 同步与异步 4. IO模型(IO多路复用) 5. 内核态多线程,用户态多线程 所谓并发编程是指在一台处理器上“同时”处理多个任务。并发是在同一实体上的多个事件。 强调多个事件在同一时间间隔发生 【1】进程概 阅读全文
posted @ 2023-03-15 12:50 Chimengmeng 阅读(61) 评论(0) 推荐(0)
摘要: #对爬取17k小说的代码进行优化 import requests import os from time import sleep from lxml import etree import random from fake_useragent import UserAgent # 全局变量:UA伪 阅读全文
posted @ 2023-03-13 16:53 Chimengmeng 阅读(328) 评论(0) 推荐(0)
摘要: # 算法基础 ## 1、什么是算法? - 算法(Algorithm):一个计算过程,解决问题的方法 - Niklaus Wirth:“ 程序 = 数据结构 + 算法 ” ![](https://img2023.cnblogs.com/blog/2322215/202303/2322215-20230 阅读全文
posted @ 2023-03-12 21:28 Chimengmeng 阅读(38) 评论(0) 推荐(0)
摘要: 以后将在csdn和博客园两个平台同步更新,请大家多多支持,给与指教 阅读全文
posted @ 2023-03-12 08:59 Chimengmeng 阅读(21) 评论(0) 推荐(0)
摘要: 引言 Python代码 print('hellow word') 代码执行顺序 我们可以看到Python仅仅用了一行代码即可完成其他编程语言多行的输出Hello,World 其他的编程语言像C/C++/C#/JAVA 等 都会有一个main主函数的框架 所有的代码都是在该框架下运行的,有且只能有一个 阅读全文
posted @ 2023-03-11 16:20 Chimengmeng 阅读(2215) 评论(0) 推荐(0)