abner_pan - 博客园

2026年9月12日

摘要： Robots协议 Robots协议也称作爬虫协议、机器人协议，全名为网络爬虫排除标准（Robots Exclusion Protocol）,用来告诉爬虫和搜索引擎哪些网页可以爬取，哪些不可以。它通常是一个叫做robots.txt的文本文件，一般放在网站的根目录下。搜索爬虫在访问一个站点时，首先会阅读全文

posted @ 2026-09-12 09:23 abner_pan 阅读(5) 评论(0) 推荐(0)

4.解析链接-unquote

摘要： unquote 有了quote方法，当然就有unquote方法，它可以进行URL解码，实例如下： from urllib.parse import unquote url = 'www.baidu.com/s?wd=%E6%A2%A6%E5%B9%BB%E8%A5%BF%E6%B8%B8' prin 阅读全文

posted @ 2026-09-12 09:11 abner_pan 阅读(7) 评论(0) 推荐(0)

4.解析链接-quote

摘要： quote 该方法可以将内容转化为URL编码的格式。当URL中带有中文参数时，有可能导致乱码问题，此时用quote方法可以将中文符转化为URL编码，实例如下： from urllib.parse import quote kw = '梦幻西游' url = 'www.baidu.com/s?wd=' 阅读全文

posted @ 2026-09-12 09:06 abner_pan 阅读(6) 评论(0) 推荐(0)

4.解析链接-parse_qsl

摘要： 1.parse_qsl parse_qsl方法用于将参数转化为由元组组成的列表，实例如下： from urllib.parse import parse_qsl query_string = 'name=abner&age=25' print(parse_qsl(query_string)) 运行结阅读全文

posted @ 2026-09-12 09:01 abner_pan 阅读(4) 评论(0) 推荐(0)

2026年9月10日

4.解析链接-parse_qs

摘要：有了序列化，必然会有反序列化。利用parse_qs方法，可以将一串GET请求参数转回字典，实例如下： from urllib.parse import parse_qs query_string = 'name=abner&age=25' print(parse_qs(query_string)) 阅读全文

posted @ 2026-09-10 21:29 abner_pan 阅读(4) 评论(0) 推荐(0)

4.解析链接-urlencode

摘要：这里我们再介绍一个常用的方法--urlencode,它再构造GET请求参数的时候非常有用，实例如下： from urllib.parse import urlencode params = { 'name': 'abner', 'age': 25 } base_url = 'http://www.b 阅读全文

posted @ 2026-09-10 20:53 abner_pan 阅读(4) 评论(0) 推荐(0)

2026年9月5日

2.1 urllib的使用

摘要： 1.urllib的介绍 urllib可以实现HTTP请求的发送，且不需要关心HTTP协议本身甚至更底层的实现，我们要做的是指定请求的URL、请求头、请求体等信息。此外urllib还可以把服务器返回的响应转化为Python对象，通过该对象便可以获取响应内容，如响应状态码、响应头、响应体等。注意：在P 阅读全文

posted @ 2026-09-05 17:35 abner_pan 阅读(13) 评论(0) 推荐(0)

1.6 多线程和多进程的基本原理

摘要： 1.多线程的含义进程可以理解为一个可以独立运行的程序单位，例如打开一个浏览器，就开启了一个浏览器进程；打开了一个文本编辑器，就开启了一个文本编辑器进程。在一个进程中，可以同时处理很多事情，例如在浏览器进程中，可以在多个选项卡中打开多个页面，有的页面播放音乐，有的页面播放视频，有的网页播放动画，这阅读全文

posted @ 2026-09-05 12:55 abner_pan 阅读(13) 评论(0) 推荐(0)

1.5 代理的基本原理

摘要： 1.基本原理代理实际上就是指代理服务器，英文叫做Proxy Server，功能是代网络用户取得网络信息。形象点说，代理是网络信息的中转站。当客户端正常请求一个网站时，是把请求发送给了Web服务器，Web服务器再把响应传回给客户端。设置代理服务器，就是在客户端和服务器之间搭建一座桥，此时客户端阅读全文

posted @ 2026-09-05 09:57 abner_pan 阅读(32) 评论(0) 推荐(0)

2026年9月2日

1.4 Session和Cookie

摘要： 1.静态网页和动态网页静态网页：定义：网页的HTML代码完整地保存在服务器上，用户请求时，服务器原封不动地把这个文件发送给浏览器。核心特征：内容固定。只要源代码文件不改，任何人在任何时间访问，看到的内容完全一致。技术构成：通常仅由 HTML + CSS + JavaScript 组成（且JS 阅读全文

posted @ 2026-09-02 21:46 abner_pan 阅读(17) 评论(0) 推荐(0)

浪青春

公告